robots.txt는 크롤러의 URL 접근을 제어하고, noindex는 페이지를 검색 결과에서 제외하도록 요청하며, canonical은 유사한 URL 중 대표 주소를 제안합니다. 목적이 서로 다르므로 공개 페이지에서는 세 설정이 충돌하지 않는지 함께 확인해야 합니다.
왜 중요한가요?
noindex를 읽으려면 검색엔진이 페이지에 접근할 수 있어야 합니다. robots.txt로 먼저 차단하면 noindex 확인이 어려울 수 있고, canonical을 다른 페이지로 지정하면 현재 URL이 대표로 선택되지 않을 수 있습니다.
자주 발견되는 실제 문제
- 공개 가이드 경로가 robots.txt Disallow에 포함됨
- noindex 페이지를 robots.txt로도 차단함
- 모든 페이지 canonical이 홈페이지를 가리킴
- 상대경로 canonical 또는 여러 canonical을 출력함
단계별 수정 방법
- 1
URL의 HTTP 상태가 200인지 확인합니다.
- 2
사이트 루트의 robots.txt에서 해당 경로가 차단되는지 확인합니다.
- 3
HTML meta robots와 응답의 X-Robots-Tag에서 noindex를 찾습니다.
- 4
head의 canonical이 하나이며 의도한 절대 URL인지 확인합니다.
- 5
URL 검사 도구와 실제 첫 HTML 응답으로 배포 결과를 검증합니다.
적용 전·후 비교
개선 전
# robots.txt
User-agent: *
Disallow: /guides/
<meta name="robots" content="noindex">
<link rel="canonical" href="/">개선 후
# robots.txt
User-agent: *
Allow: /guides/
<meta name="robots" content="index,follow">
<link rel="canonical" href="https://example.com/guides/page">관련 SEO GEO Check 진단 항목
SEO-15 HTTP 응답 상태SEO-16 색인 허용 상태SEO-17 CanonicalSEO-18 robots.txtSEO-19 SitemapGEO-27 머신이 이해 가능한 연결
실무 체크리스트
- 공개 URL이 robots.txt에서 허용되는가
- 의도하지 않은 noindex가 없는가
- canonical이 최종 절대 URL을 가리키는가
- sitemap URL과 canonical URL이 일치하는가
자주 묻는 질문
robots.txt Disallow가 noindex와 같은가요?
아닙니다. Disallow는 크롤링 제어이고 noindex는 색인 제외 지시입니다.
모든 페이지에 자기참조 canonical이 필요한가요?
대부분의 색인 가능한 고유 페이지에서 명확성을 높이는 데 도움이 되지만, 중복 URL 전략에 맞춰 결정해야 합니다.
canonical은 반드시 따르나요?
아닙니다. 검색엔진이 다른 신호를 종합해 다른 대표 URL을 선택할 수 있는 힌트입니다.
참고 출처
색인·canonical 설정 무료 점검하기
내 페이지에서 관련 신호가 어떻게 감지되는지 무료로 확인해 보세요.
무료 진단으로 이동 →