본문 바로가기
다른 허브 개발·데이터 텍스트 셀러 금융·세금 생활·건강 디자인·CSS 이미지·AI 게임

robots.txt 접근 규칙 매트릭스

브라우저 처리

robots.txt 내용과 크롤러 이름·경로 목록으로 어느 검색로봇이 어떤 경로에 들어갈 수 있는지 표로 판정합니다. 이름이 가장 길게 맞는 그룹 하나만 따르고 가장 긴 규칙이 이기는 RFC 9309 규칙을 그대로 적용합니다.

도구 실행입력 후 결과 확인
robots.txt 접근 규칙 매트릭스 샘플 실행

robots.txt는 짧아 보여도 해석이 까다롭습니다. Googlebot 전용 그룹을 하나 만들면 Googlebot은 User-agent: * 그룹의 규칙을 전혀 따르지 않고, Disallow와 Allow가 겹치면 더 긴 규칙이 이깁니다. 이런 규칙을 모르면 막았다고 생각한 경로가 열려 있기 쉽습니다.

브라우저 처리
샘플 결과
Googlebot	/cart	차단	disallow: /cart
Googlebot	/search/guide	허용	allow: /search/guide
Yeti	/cart	허용	맞는 규칙 없음(기본 허용)
GPTBot	/products/linen	차단	disallow: /
…
자바스크립트가 활성화되면 이 영역이 실제 입력, 실행, 결과 패널로 바뀝니다.

robots.txt 접근 규칙 매트릭스 사용 가이드

robots.txt는 짧아 보여도 해석이 까다롭습니다. Googlebot 전용 그룹을 하나 만들면 Googlebot은 User-agent: * 그룹의 규칙을 전혀 따르지 않고, Disallow와 Allow가 겹치면 더 긴 규칙이 이깁니다. 이런 규칙을 모르면 막았다고 생각한 경로가 열려 있기 쉽습니다.

이 매트릭스는 robots.txt, 크롤러 이름 목록, 경로 목록을 받아 '크롤러 × 경로' 표로 허용·차단을 판정하고, 어떤 규칙 때문인지 함께 보여 줍니다. Googlebot-Image처럼 하위 크롤러는 이름이 가장 길게 맞는 Googlebot 그룹을 따르고, 맞는 그룹이 없으면 * 그룹을 따릅니다.

*와 $ 패턴, 쿼리 문자열이 붙은 경로도 처리합니다. User-agent 없이 나온 규칙이나 알 수 없는 지시어는 줄 번호와 함께 경고합니다. 네이버 검색로봇은 Yeti, OpenAI는 GPTBot처럼 크롤러 이름을 정확히 넣으세요.

사용 방법

  1. 'robots.txt 내용' 칸에 사이트의 robots.txt를 붙여 넣습니다.
  2. '확인할 크롤러 이름 (한 줄에 하나 · 네이버는 Yeti)'에 검사할 검색로봇 이름을 적습니다.
  3. '확인할 경로 (한 줄에 하나)'에 /cart, /search?q=… 같은 경로를 적고 '실행'을 누릅니다.
  4. 의도와 다른 판정이 있으면 '적용 규칙' 열을 보고 robots.txt를 고친 뒤 다시 확인합니다.

예시: 네이버 전용 그룹이 있는 robots.txt

입력
User-agent: *
Disallow: /cart
Disallow: /search
Allow: /search/guide

User-agent: Yeti
Disallow: /admin/

User-agent: GPTBot
Disallow: /

크롤러: Googlebot, Yeti, GPTBot · 경로: /products/linen, /cart, /search?q=원피스, /search/guide
결과
Googlebot	/cart	차단	disallow: /cart
Googlebot	/search/guide	허용	allow: /search/guide
Yeti	/cart	허용	맞는 규칙 없음(기본 허용)
GPTBot	/products/linen	차단	disallow: /
…

Yeti 그룹이 따로 있어서 네이버는 * 그룹의 /cart 차단을 따르지 않습니다. 공통 규칙을 Yeti 그룹에도 다시 적어야 합니다.

이럴 때 쓰면 좋아요

  • robots.txt를 고치기 전에 영향을 미리 확인할 때
  • AI 학습용 크롤러(GPTBot 등)만 막는 설정을 검증할 때
  • 네이버·구글에 서로 다른 규칙을 줄 때 빠진 규칙을 찾을 때
  • 검색결과·장바구니 경로가 제대로 막혔는지 점검할 때

문제가 생겼을 때

Googlebot 그룹을 추가했더니 * 그룹의 차단이 풀렸습니다.

크롤러는 자기 이름의 그룹 하나만 따릅니다. 공통으로 막을 경로는 Googlebot 그룹에도 다시 적어야 합니다.

Disallow: /search를 썼는데 /search/guide도 막혔습니다.

/search로 시작하는 모든 경로가 막힙니다. 열어 둘 경로는 Allow: /search/guide처럼 더 긴 규칙을 추가하세요.

Disallow: *.pdf가 동작하지 않습니다.

경로는 /로 시작해야 합니다. Disallow: /*.pdf$처럼 쓰면 .pdf로 끝나는 주소만 막습니다.

활용 팁

  • robots.txt는 접근만 막을 뿐 검색결과에서 빼지는 못합니다. 검색에서 빼려면 noindex를 쓰고 접근은 열어 두세요.
  • Sitemap: 줄은 어느 위치에 있어도 되며 경고 대상이 아닙니다.
  • 경로의 대소문자는 구분됩니다. /Cart와 /cart는 다른 경로입니다.

자주 묻는 질문

실제 사이트의 robots.txt를 가져오나요?

아니요. 붙여 넣은 내용으로만 판정합니다. 브라우저에서 https://도메인/robots.txt를 열어 내용을 복사해 넣으세요.

같은 길이의 Allow와 Disallow가 겹치면 어떻게 되나요?

RFC 9309와 Google 기준에 따라 덜 제한적인 Allow가 이깁니다. 이 매트릭스도 같은 규칙으로 판정합니다.

Crawl-delay는 반영되나요?

Crawl-delay는 접근 허용 여부와 관계없는 속도 지시라 판정에는 쓰지 않습니다. Google은 이 지시를 따르지 않습니다.