색인 지시문 판정 매트릭스
브라우저 처리'주소|상태코드|meta robots|X-Robots-Tag|canonical' 목록으로 페이지마다 색인 가능·색인 안 됨·검토 필요를 판정합니다. 3xx·4xx·5xx 응답, noindex·none 지시, 다른 주소를 가리키는 canonical을 이유와 함께 보여 줍니다.
페이지가 검색결과에 나오려면 정상 응답(2xx)을 하고, noindex 지시가 없고, canonical이 자기 자신을 가리켜야 합니다. 이 조건은 서버 응답, HTML 태그, HTTP 헤더에 흩어져 있어 페이지가 많으면 한눈에 판단하기 어렵습니다.
…/products/linen 색인 가능 2xx 응답, noindex 없음 …/old-linen 색인 안 됨 301 리디렉션 — 도착 페이지가 색인됨 …/cart 색인 안 됨 noindex 지시 …/products/linen?color=blue 검토 필요 canonical이 다른 주소(…/products/linen)를 가리킴 — 그 주소가 대신 색인될 수 있음 …/event-2025 색인 안 됨 404 없음
색인 지시문 판정 매트릭스 사용 가이드
페이지가 검색결과에 나오려면 정상 응답(2xx)을 하고, noindex 지시가 없고, canonical이 자기 자신을 가리켜야 합니다. 이 조건은 서버 응답, HTML 태그, HTTP 헤더에 흩어져 있어 페이지가 많으면 한눈에 판단하기 어렵습니다.
이 매트릭스는 크롤링 도구에서 뽑은 값을 한 줄에 하나씩 받아 판정합니다. 301·302 같은 리디렉션은 도착 페이지가 대신 색인된다고, 404·410은 없는 페이지로, 5xx는 서버 오류로 색인 안 됨을 판정하고, meta robots나 X-Robots-Tag에 noindex 또는 none이 있으면 마찬가지로 처리합니다.
canonical이 다른 주소를 가리키면 지시가 아니라 신호이므로 '검토 필요'로 따로 표시합니다. 상태 코드를 비우면 판정 근거가 부족하다고 알려 줍니다.
사용 방법
- '주소|상태코드|meta robots|X-Robots-Tag|canonical (한 줄에 하나, 모르는 칸은 비움)'에 목록을 붙여 넣습니다.
- '실행'을 누르면 주소마다 판정과 이유가 표로 나옵니다.
- '색인 안 됨' 중 의도하지 않은 페이지부터 원인을 고칩니다.
- '검토 필요'는 canonical이 정말 그 주소를 가리켜야 하는지 확인합니다.
예시: 다섯 가지 경우가 섞인 목록
https://shop.example.com/products/linen|200|index,follow||https://shop.example.com/products/linen https://shop.example.com/old-linen|301 https://shop.example.com/cart|200|noindex,nofollow https://shop.example.com/products/linen?color=blue|200|||https://shop.example.com/products/linen https://shop.example.com/event-2025|404
…/products/linen 색인 가능 2xx 응답, noindex 없음 …/old-linen 색인 안 됨 301 리디렉션 — 도착 페이지가 색인됨 …/cart 색인 안 됨 noindex 지시 …/products/linen?color=blue 검토 필요 canonical이 다른 주소(…/products/linen)를 가리킴 — 그 주소가 대신 색인될 수 있음 …/event-2025 색인 안 됨 404 없음
표에서는 주소가 전체로 나옵니다.
이럴 때 쓰면 좋아요
- 사이트 이전 뒤 중요한 페이지가 색인 가능한 상태인지 점검할 때
- 크롤링 결과에서 noindex가 잘못 붙은 페이지를 찾을 때
- 사이트맵에 넣을 주소를 고르기 전에 걸러 낼 때
- 색인에서 빠진 이유를 팀에 설명할 표가 필요할 때
문제가 생겼을 때
응답 코드를 알아야 정확히 판정할 수 있습니다. 브라우저 개발자 도구의 네트워크 탭이나 크롤링 도구에서 확인해 넣으세요.
이 도구는 robots.txt를 보지 않습니다. robots.txt 접근 규칙 매트릭스로 따로 확인하세요.
주소|상태코드|meta robots|X-Robots-Tag|canonical 순서를 지켜야 합니다. 값이 없는 칸도 |는 남겨 두세요.
활용 팁
- noindex 페이지는 robots.txt로 막지 마세요. 막으면 검색엔진이 noindex를 읽지 못합니다.
- 리디렉션된 주소는 사이트맵과 내부 링크에서 최종 주소로 바꾸는 것이 좋습니다.
- none은 noindex, nofollow를 합친 지시라 색인 안 됨으로 봅니다.
자주 묻는 질문
canonical은 검색엔진에 주는 강한 신호지만 명령은 아닙니다. 대부분 지정한 주소가 대신 색인되지만, 내용이 다르면 무시될 수도 있어 '검토 필요'로 표시합니다.
아니요. 입력한 값만으로 판정합니다. 페이지에 접속하지 않으므로 값은 크롤링 도구에서 가져와야 합니다.
있습니다. 내용이 얇거나 중복이면 검색엔진이 색인하지 않기도 합니다. 이 판정은 기술적 조건만 봅니다.