TL;DR: 서치콘솔 색인 오류, 어디부터 봐야 하나?
- "크롤링됨 — 색인 생성 안 됨"은 오류가 아니라 보류입니다. 기술 문제가 아닌 품질/신뢰도 평가 단계입니다.
- "발견됨 — 색인 생성 안 됨"은 크롤링 예산 부족 신호입니다. 사이트맵·내부 링크·서버 응답을 먼저 봐야 합니다.
- 적절한 표준 태그가 포함된 대체 페이지는 canonical이 다른 URL을 가리키는 정상 동작입니다.
- 재요청 버튼은 만능이 아닙니다. 원인을 고치지 않고 누르면 보류 기간만 길어집니다.
- 신규 도메인은 평균 2~12주 초기 평가 기간을 거칩니다. 성급한 조작은 역효과입니다.
서치콘솔의 색인 상태, 먼저 분류부터 맞춰라
"색인이 안 잡혀요"는 하나의 증상이지만 서치콘솔은 최소 12가지 이상의 구체 원인으로 나눠 보여줍니다. 같은 대응으로 다 해결되지 않는다는 뜻입니다.
| 상태 이름 | 실제 의미 | 주 대응 |
|---|---|---|
| 크롤링됨 — 색인 생성 안 됨 | 방문했지만 품질 평가 보류 | 콘텐츠·사이트 신뢰도 개선 |
| 발견됨 — 색인 생성 안 됨 | 큐에 있지만 아직 방문 못 함 | 크롤 예산·사이트맵·성능 |
| 대체 페이지(적절한 canonical) | 중복 판정, canonical 정상 | 대부분 조치 불필요 |
| 중복, 사용자가 선택한 표준 없음 | canonical 없거나 불일치 | canonical 명시 |
| robots.txt에 의해 차단됨 | 의도된 차단 | robots.txt 규칙 재확인 |
| noindex 태그에 의해 제외됨 | 메타 태그/헤더로 차단 | 태그 존재 여부 감사 |
| 4xx로 인한 차단 | 서버 응답 오류 | 서버 로그·리다이렉트 점검 |
| 소프트 404 | 200이지만 콘텐츠 빈약 | 콘텐츠 보강 또는 404 반환 |
출처: Google Search Console Help - 페이지 색인 생성 보고서
페이지 색인 생성 보고서는 색인이 생성된 이유와 생성되지 않은 이유를 URL 수준에서 분류해 보여줍니다. 상태별 원인을 분리하지 않으면 잘못된 처방이 됩니다.
진짜 원인 1: "크롤링됨 — 색인 생성 안 됨"은 기술 오류가 아니다
가장 오해가 큰 상태입니다. 많은 분이 서버·robots·sitemap을 뒤지지만, 이 상태는 기술적 결함이 아니라 품질 보류입니다.
출처: SEO NEWS - 크롤링됨, 현재 색인이 생성되지 않음 원인
이 상태는 구글봇이 페이지를 성공적으로 방문해 콘텐츠를 수집했지만, 검색 결과에 노출할 가치가 있는지 최종 판단을 내리지 않은 상태입니다. 기술적 오류가 아니라 평가 보류입니다.
자주 간과되는 보류 원인:
- 대량 발행으로 평균 품질이 낮아 보이는 경우
- 유사 주제 글이 반복되어 중복 후보가 많은 경우
- 내부 링크가 거의 없어 "고아 페이지"로 인식되는 경우
- 사이트 전체의 E-E-A-T 신호가 빈약한 경우
- 신규 도메인이라 초기 평가 기간에 있는 경우
이 경우 URL 검사·재요청을 반복해도 상태가 바뀌지 않습니다. 페이지 자체를 강화하거나 사이트 전반의 신뢰 신호를 올리는 것이 답입니다.
진짜 원인 2: "발견됨 — 색인 생성 안 됨"은 크롤 예산 문제다
이 상태는 크롤링조차 하지 못한 상태입니다. 대개 사이트 규모 대비 크롤 예산이 부족할 때 나타납니다.
자주 발생하는 구조적 원인:
- 사이트맵이 너무 크거나 갱신이 안 됨
- 내부 링크가 깊어 4클릭 이상 들어가야 도달
- 서버 응답이 느리거나 주기적 에러가 있음
- 파라미터·필터 URL이 무한 생성됨
- 중요도 낮은 URL이 너무 많아 크롤 비중이 분산됨
대응 순서:
sitemap.xml분할 (5만 URL/파일 이하, 50MB 이하)- 내부 링크 구조 최적화(Important 페이지를 홈에서 2클릭 이내)
- 서버 TTFB 800ms 이하로 맞춤
URL parameters및robots.txt로 저가치 URL 제한<lastmod>정확히 갱신해 재크롤 우선순위 반영
진짜 원인 3: "적절한 표준 태그가 포함된 대체 페이지"는 대부분 정상이다
이 상태가 많다고 당황할 필요는 없습니다. 구글이 다른 URL을 canonical로 인식했고, 본 URL은 그것의 대체 버전이라는 뜻입니다.
문제가 아닌 경우:
- 페이지네이션의 2페이지 이상이 1페이지를 canonical로 가리키는 경우
/index.html이/를 canonical로 가리키는 경우- UTM 파라미터 붙은 URL이 원본을 가리키는 경우
문제인 경우:
- 엉뚱한 다른 페이지를 canonical로 가리키고 있음
- canonical이 404/리다이렉트 페이지를 향함
- canonical이 있지만 중복이라고 판단 근거가 빈약
확인법: URL 검사 → "사용자가 선언한 표준" vs "Google이 선택한 표준"을 비교. 일치하지 않으면 콘텐츠 중복 구조부터 점검합니다.
진짜 원인 4: noindex·robots 조합이 꼬여 있다
의외로 자주 발생합니다. CMS·테마·플러그인이 자동으로 태그를 심거나, 스테이징 설정이 프로덕션으로 유출된 케이스입니다.
체크 순서:
1. HTML <head>에 <meta name="robots" content="noindex"> 존재?
2. HTTP 응답 헤더에 X-Robots-Tag: noindex 포함?
3. robots.txt에서 해당 경로 Disallow?
4. Cloudflare/CDN 레벨에서 헤더 조작?
서치콘솔의 URL 검사 결과가 noindex 또는 robots.txt에 의한 차단을 명시해 주므로, 육안 검사보다 URL 검사 결과를 우선 신뢰합니다.
진짜 원인 5: 소프트 404, 실제로는 "빈 페이지"다
200 응답을 주지만 콘텐츠가 빈약하면 구글은 실질적으로 404라고 판단합니다. 흔한 원인:
- 검색 결과가 0건인 내부 검색 페이지
- 태그/카테고리 중 글이 1~2개만 있는 아카이브
- "페이지를 찾을 수 없습니다" 문구를 그대로 보여주는 에러 페이지(그런데 200 응답)
- JS로 렌더링되는 SPA에서 HTML이 비어 있는 상태
대응: 실제로 콘텐츠가 없으면 404/410 응답을 명시적으로 반환하거나 noindex 처리. 콘텐츠가 있는데도 빈 HTML이라면 SSR/SSG로 본문이 HTML에 실리도록 수정합니다.
XEO 관점: 같은 페이지가 AI 검색에서도 누락된다
색인 보류 페이지는 구글뿐 아니라 ChatGPT·Perplexity·AI Overviews에서도 인용되지 않습니다. 크롤·색인·인용은 같은 기술 기반 위에서 작동합니다.
| 관점 | 이 문제가 미치는 영향 |
|---|---|
| SEO | 오가닉 트래픽 0, 순위 평가 자체 불가 |
| GEO | ChatGPT·Perplexity의 소스 후보에서 제외 |
| AEO | Featured Snippet·AI Overview 진입 불가 |
XEO 통합 교훈: "색인 생성 안 됨"을 순수 SEO 이슈로 보지 말고, AI 검색 인용까지 동시에 막는 장애로 봐야 우선순위가 제대로 잡힙니다.
실행 체크리스트
아래 순서대로 작업하면 대부분의 색인 문제가 해결됩니다.
- 서치콘솔 "페이지 색인 생성" 보고서에서 상태별로 URL 분류
- "크롤링됨 — 색인 안 됨" → 콘텐츠 강화·내부 링크 추가
- "발견됨 — 색인 안 됨" → 사이트맵 분할·서버 TTFB 개선
- "대체 페이지" → canonical 구조가 의도대로인지 샘플 5개 확인
- URL 검사로 noindex/robots.txt 혼선 점검 (상위 20 URL)
- 내부 검색·태그 아카이브의 소프트 404 감사
-
<lastmod>실제 수정일과 일치하도록 자동화 - 주요 페이지에 Article/FAQPage 스키마 설치해 평가 신호 강화
- 월 1회 "색인 커버리지 보고서" 리뷰 루틴 수립
자주 묻는 질문 (FAQ)
Q1. 색인 요청을 매일 눌러도 되나요?
페이지당 하루 수 차례까지는 문제 없지만, 원인을 해결하지 않고 연타만 하면 보류 큐가 길어지는 역효과가 납니다. 재요청은 콘텐츠 수정 직후 1회가 원칙입니다.
Q2. 사이트맵을 다시 제출하면 해결되나요?
사이트맵은 "이런 URL이 있습니다"를 알려주는 역할일 뿐, 색인 결정은 구글이 따로 합니다. 사이트맵 재제출은 발견됨 상태에는 도움이 되지만 크롤링됨 — 색인 안 됨에는 효과가 제한적입니다.
Q3. 신규 도메인인데 2주째 색인이 안 잡힙니다.
신규 도메인은 초기 평가 기간이 있어 2~12주까지 걸리는 것은 정상입니다. 이 기간에는 콘텐츠 일관성과 내부 링크 네트워크를 쌓는 데 집중하는 편이 유리합니다.
Q4. AI 발행 콘텐츠라 색인이 보류되나요?
AI 사용 자체가 제외 사유는 아닙니다. 다만 편집 없이 양산된 콘텐츠는 중복·저품질 신호로 보류됩니다. 사람의 편집·검증·출처·고유 관점이 더해졌는지가 판단 기준입니다.
Q5. 서치콘솔이 아닌 다른 도구로도 진단 가능한가요?
네. 서치콘솔이 기준이지만 보조 도구로 줍줍분석기나 소요유의 XEO 테크니컬 컨설팅 감사를 병행하면 문제의 원인까지 짚어낼 수 있습니다.
결론
"색인 생성 안 됨"은 증상일 뿐입니다. 상태별 라벨을 정확히 읽고, 콘텐츠 품질·크롤 예산·canonical·noindex 중 실제 원인을 좁혀 대응해야 회복이 빠릅니다.
사이트 전체가 반복적으로 색인 보류에 걸린다면 XEO 테크니컬 컨설팅에서 30일 감사로 크롤·색인·AI 인용 경로를 한꺼번에 정비하세요.