robots.txt 접근 규칙 매트릭스

robots.txt 내용과 크롤러 이름·경로 목록으로 어느 검색로봇이 어떤 경로에 들어갈 수 있는지 표로 판정합니다. 이름이 가장 길게 맞는 그룹 하나만 따르고 가장 긴 규칙이 이기는 RFC 9309 규칙을 그대로 적용합니다.