페이지별 수집 빈도에 인용·사업 가치를 더한 콘텐츠 우선순위

페이지별 수집 빈도로 콘텐츠 우선순위를 정하려면 먼저 서버 기록에서 AI 봇 요청을 페이지마다 셉니다. 센 값은 수집 목적별로 나눕니다. 그다음 응답 상태, 인용 신호, 사업 가치를 차례로 더합니다.

수집이 많은 핵심 페이지는 내용을 최신으로 고칩니다. 수집이 적은 핵심 페이지는 접근 경로부터 점검합니다. 단계마다 끝난 기준을 문서로 정하면 같은 순서를 매월 반복할 수 있습니다.

전체 순서와 단계별 완료 기준은 무엇인가요?

여섯 단계는 앞 단계의 결과를 다음 단계에서 그대로 씁니다. 한 단계라도 끝난 기준에 이르지 않으면 다음 단계의 판단이 흔들립니다.

수집 빈도 순위표는 어떤 기준으로 만드나요? (1·2단계)

서버 기록부터 받습니다

순위표의 원재료는 웹 서버의 접속 기록(액세스 로그)입니다. CDN이나 호스팅 서비스를 쓰면 그쪽 기록도 함께 받습니다. 요청이 원본 서버에 닿기 전에 CDN이 응답을 끝내는 경우가 있기 때문입니다.

필요한 항목은 요청 시각, 요청 URL, 사용자 에이전트, 접속 IP, 응답 코드 다섯 가지입니다. 서버 담당자에게는 다음 문안을 그대로 보낼 수 있습니다.

「최근 8주 동안의 웹 서버 접속 기록(CDN을 쓰면 CDN 기록 포함)을 요청 시각, 요청 URL, 사용자 에이전트, 접속 IP, 응답 코드가 들어간 형태로 전달해 주시기 바랍니다.」

판단 기간을 먼저 고정합니다

실무에서는 판단 기간을 최소 4주, 가능하면 8주로 잡는 방법을 권합니다. 하루 이틀 몰린 요청이 순위를 크게 바꾸는 일을 줄이기 위해서입니다. 판단 기간 도중에 발행한 글은 「신규」로 표시하고 이번 순위에서는 뺍니다.

수집 목적별로 열을 나눕니다

OpenAI 문서는 OAI-SearchBot을 ChatGPT 검색 노출용 크롤러로, GPTBot을 모델 학습용 수집 크롤러로 설명합니다. ChatGPT-User는 사용자 요청에 따라 페이지를 방문할 때 쓰인다고 설명합니다.

Perplexity 문서는 PerplexityBot이 검색 결과에 웹사이트를 보여 주고 링크하는 용도이며, 기반 모델 학습용 수집에는 쓰이지 않는다고 밝힙니다. 사용자가 질문하면 답변을 위해 페이지를 가져오는 Perplexity-User도 따로 구분합니다. 문서는 Perplexity-User가 일반적으로 robots.txt 규칙을 따르지 않는다고 설명합니다.

Anthropic 도움말은 ClaudeBot(학습), Claude-SearchBot(검색 응답 품질), Claude-User(사용자 요청)를 구분합니다.

실무에서는 검색 계열과 사용자 요청 계열 열을 콘텐츠 우선순위의 주 기준으로 쓰는 방법을 권합니다. 학습 계열은 참고 열로 둡니다. 사용자 요청 계열은 실제 질문을 처리하는 과정에서 페이지를 연 기록이기 때문입니다.

신원이 확인된 요청만 셉니다

OpenAI와 Perplexity 문서는 봇별 IP 목록을 공개합니다. Anthropic 도움말도 공개한 IP 목록에 있는 주소에서 온 요청을 자사 크롤러로 보면 된다고 안내합니다. 실무에서는 사용자 에이전트와 IP가 함께 맞는 요청만 순위표에 넣는 방법을 권합니다.

Google 크롤러 확인 문서에는 역방향 DNS 조회와 IP 범위 목록 대조 방법이 나와 있습니다.

순위표의 열 구성

1. 대표 URL
2. 검색 계열 수집 수(기간 합계)
3. 사용자 요청 계열 수집 수(기간 합계)
4. 학습 계열 수집 수(참고)
5. Googlebot 수집 수(참고, AI 기능용만 따로 분리 불가)
6. 마지막 수집일
7. 가장 최근 응답 코드

Google의 「AI 기능과 웹사이트」 문서는 AI 개요나 AI 모드에 표시되기 위한 추가 요구사항이 없다고 설명합니다. 페이지가 색인되어 있고 스니펫과 함께 검색에 표시될 수 있으면 된다는 설명입니다. 접근 관리도 Googlebot의 robots.txt 지침으로 한다고 안내합니다.

같은 문서는 AI 기능이 Search Console 실적 보고서의 「웹」 검색 유형에 함께 보고된다고 설명합니다. 실무에서는 AI 기능 몫을 수집 기록에서도 실적 보고서에서도 따로 떼어 낼 수 없다고 봅니다. 그래서 Googlebot 수치는 점수 계산에 넣지 않고 참고 열로만 둡니다.

사이트맵의 URL 목록에서 수집된 URL을 빼면 수집 0건 목록이 나옵니다. 이 목록은 5단계에서 「수집 적음」 칸을 채우는 데 씁니다.

수집이 많은 페이지에서 먼저 고칠 것은 무엇인가요? (3단계)

수집 빈도가 높아도 응답이 정상이 아니면 내용을 고친 효과를 판단하기 어렵습니다.

Google 크롤링 통계 도움말은 리디렉션 체인의 각 요청을 별도 요청으로 센다고 설명합니다. 서버 기록에서도 한 페이지의 수집이 옛 주소와 최종 주소로 나뉘어 잡힙니다. 실무에서는 순위표를 최종 주소 기준으로 합산하는 방법을 권합니다.

soft 404는 없는 페이지가 정상 응답을 돌려주는 상태를 말합니다. Google의 대규모 사이트용 크롤링 예산 가이드는 중복 URL, soft 404, 긴 리디렉션 체인이 크롤링을 낭비한다고 설명합니다.

실무에서는 수집 상위 50개 페이지부터 아래 순서로 점검하는 방법을 권합니다. 사이트 규모가 작으면 상위 20%를 대상으로 합니다.

1. 301로 응답하는 주소: 내부 링크와 사이트맵을 최종 주소로 바꿉니다.
2. 302로 응답하는 주소: 로그인·지역 분기·점검 안내처럼 의도한 임시 이동이면 그대로 둡니다. 영구 이동인데 임시 코드로 응답하는 경우에만 301로 바꾸고, 내부 링크와 사이트맵을 최종 주소로 갱신합니다.
3. 404인데 수집이 계속되는 주소: 대체 페이지가 있으면 301로 연결하고, 없으면 404 또는 410을 유지합니다.
4. 200이지만 내용이 비어 있는 주소: soft 404로 보고 실제 내용을 채우거나 404로 바꿉니다.
5. 같은 내용이 여러 주소에 있는 경우: 한 주소로 통합합니다.
6. 5xx 오류나 응답 지연: 서버 담당자에게 넘기고 발생 시각을 함께 전달합니다.

인용 신호와 사업 가치는 어떻게 더하나요? (4·5단계)

페이지별 인용 횟수를 붙입니다

Bing 웹마스터 도구의 AI 성능(AI Performance) 보고서는 2026년 2월 공개 미리보기로 나왔습니다. Bing 발표문은 이 보고서가 Microsoft Copilot, Bing의 AI 생성 요약, 일부 파트너 연동 서비스의 인용을 다룬다고 설명합니다.

보고서에는 인용된 URL과 인용 추이가 나옵니다. 공개 미리보기 기준으로 발표문은 인용 수가 답변 안에서 어떤 위치나 형태로 제시됐는지는 보여 주지 않는다고 설명합니다. 다른 AI 서비스의 인용은 이 수치에 들어가지 않으므로, 해당 열 머리에 「Bing 계열 기준」이라고 적습니다.

Bing 발표문은 색인되어 있지만 인용이 적은 페이지를 찾아 명확성, 구조, 완성도를 점검하라고 권합니다. 실무에서는 수집 상위인데 인용 보고가 없는 페이지를 이 점검의 첫 대상으로 둡니다.

사업 가치를 표시하고 네 칸으로 나눕니다

사업 가치는 담당자가 상·중·하 세 단계로 표시합니다. 문의·구매로 이어지는 페이지는 상, 브랜드·제품 설명 페이지는 중, 그 밖의 페이지는 하로 둡니다.

우선순위 점수는 어떻게 매기나요? (6단계)

네 칸 분류만으로는 같은 칸 안의 순서를 정하기 어렵습니다. 실무에서는 세 항목을 각각 1~3점으로 매겨 더하는 방법을 권합니다.

세 번째 항목은 Bing 계열 인용만 반영합니다. 다른 AI 서비스에서 이미 인용되는 페이지도 이 항목에서 3점을 받을 수 있습니다.

합계 7점 이상은 이번 달 작업, 5~6점은 다음 달 작업, 4점 이하는 보류로 둡니다. 수집 0건인 핵심 페이지는 점수와 관계없이 같은 달에 접근 경로를 점검합니다. 사이트맵, 내부 링크, robots.txt 세 항목만 보면 되기 때문입니다. 「신규」로 표시한 글은 판단 기간을 모두 채운 뒤 나오는 순위표부터 점수를 매깁니다.

예를 들어 가상의 ○○ 기업의 요금 안내 페이지를 봅니다. 사업 가치 3점, 수집 상위 3점, 인용 보고 없음 3점으로 합계 9점입니다. 이번 달 가장 먼저 개선할 페이지가 됩니다. 수집 하위이고 인용 보고가 없는 지난해 행사 공지는 1점, 1점, 2점으로 4점이라 보류합니다.

개선 뒤에는 무엇을 확인하나요?

Google의 크롤링 예산 가이드는 사이트맵을 최신으로 유지하고, 업데이트한 항목에 lastmod(최종 수정일)를 표시하라고 권합니다. Bing 발표문은 콘텐츠를 추가·수정·삭제할 때 IndexNow(바뀐 URL을 검색엔진에 알리는 방식)를 쓰라고 권합니다.

실무에서는 개선일을 기록한 뒤 4주 동안 해당 URL의 검색·사용자 요청 계열 재방문 날짜와 횟수를 확인합니다. Bing 인용 횟수의 변화도 같은 행에 적습니다. 재수집이 늘어도 인용이 늘어난다는 보장은 없습니다. 재수집은 다음 판단에 쓸 선행 신호로만 기록합니다.

콘텐츠 담당자에게 작업을 넘길 때는 아래 문안을 그대로 쓸 수 있습니다.

1. 대상: (대표 URL), 우선순위 점수 (합계)점
2. 근거: 최근 4주 검색·사용자 요청 계열 수집 (순위)위, Bing 계열 인용 (횟수 또는 보고 없음)
3. 요청 작업: 최신 정보 반영, 근거 출처 보강, 소제목과 표 구조 정리
4. 완료 후 조치: 사이트맵 lastmod 갱신, IndexNow 전송, 개선일 회신
5. 재확인일: 개선일로부터 4주 뒤

정리

1. 서버 담당자에게 다섯 항목이 들어간 접속 기록을 요청합니다. 판단 기간(4~8주)과 봇 분류표는 한 장의 문서로 확정합니다.
2. 신원이 확인된 요청만으로 목적별 수집 빈도 순위표와 수집 0건 목록을 만듭니다.
3. 수집 상위 페이지의 응답 코드를 의도한 상태로 정리합니다.
4. Bing 계열 인용 횟수와 사업 가치를 붙여 모든 행을 네 칸 가운데 하나에 배정합니다.
5. 점수를 매겨 7점 이상 페이지부터 작업을 넘깁니다. 4주 뒤 재수집과 인용 변화를 같은 표에서 확인합니다.

참고 자료

• 크롤링 통계 보고서 (Google Search Console 고객센터, 확인일 2026-10-20)
• 대규모 사이트 소유자를 위한 크롤링 예산 관리 가이드 (Google Search Central, 확인일 2026-10-20)
• Googlebot 및 기타 Google 크롤러 확인 (Google Search Central, 확인일 2026-10-20)
• AI 기능과 웹사이트 (Google Search Central, 확인일 2026-10-22)
• Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-20)
• Perplexity Crawlers (Perplexity, 확인일 2026-10-22)
• Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic 도움말, 확인일 2026-10-22)
• Introducing AI Performance in Bing Webmaster Tools Public Preview (Microsoft Bing Webmaster Blog, 확인일 2026-10-20)
• IndexNow 소개 (IndexNow, 확인일 2026-10-20)