새 페이지는 대표 주소를 하나로 정하고 기존 페이지에서 링크로 연결한 뒤, 실제 수정 시각을 담은 사이트맵에 올립니다. 발행 직후 Search Console·IndexNow로 색인 유도 요청을 보냅니다. 이어서 AI 검색 봇이 robots.txt(봇의 접근 허용·차단 규칙 파일)에서 막히지 않았는지 확인합니다. 이 신호들은 발견과 수집을 돕는 힌트입니다. 수집 시점이나 색인을 보장하지는 않으므로, 결과는 단계별 완료 기준과 서버 기록으로 판단합니다.
새 페이지 수집은 어떤 순서로 준비하나요?
Google 문서는 사이트맵 제출을 힌트로 보고, 재수집 요청도 빠른 노출을 보장하지 않는다고 안내합니다. 따라서 내부 링크·사이트맵·즉시 알림으로 발견 경로를 여러 겹 만듭니다. 1~3단계는 발행 전에, 4단계는 발행 직후에 진행하고, 5단계는 발행 뒤 2주 동안 기록합니다.
| 단계 | 할 일 | 끝났다는 확인 기준 |
|---|---|---|
| 1. 대표 주소 | 읽기 쉬운 주소 하나를 정하고 중복 주소를 정리합니다 | 대표 주소가 정상 응답(200)을 돌려줍니다. 다른 형태의 주소는 301 리다이렉트나 rel=canonical로 대표 주소를 지정했습니다 |
| 2. 내부 링크 | 목록 페이지와 관련 글에서 새 페이지로 링크를 겁니다 | 렌더링(자바스크립트를 실행한 뒤의 화면) 결과 HTML에 새 주소를 가리키는 a 태그의 href가 보입니다 |
| 3. 사이트맵 | 새 주소와 실제 수정 시각을 사이트맵에 넣습니다 | 사이트맵 파일에 새 주소와 정확한 lastmod 값이 보입니다 |
| 4. 제출·알림 | 사이트맵 위치를 알리고 변경 사실을 즉시 통지하며, AI 검색 봇의 접근을 점검합니다 | 사이트맵 제출 상태가 성공이고, IndexNow 요청이 200 또는 202 응답을 받습니다. robots.txt에서 사용하는 AI 검색 봇(예: OAI-SearchBot)이 새 글 경로에 접근할 수 있습니다 |
| 5. 결과 확인 | 사이트맵 기준 색인 상태와 서버 기록을 대조합니다 | 새 주소의 상태와 봇별 첫 요청 날짜를 기록표에 적었습니다 |
주소와 내부 링크는 발행 전에 어떻게 갖추나요?
대표 주소를 하나로 정합니다
Google의 주소 구조 문서는 긴 ID 번호보다 뜻이 드러나는 단어를 쓰고, 단어 사이를 하이픈으로 구분하라고 권합니다. 내용을 바꾸지 않는 매개변수(주소 뒤에 붙는 추적·정렬 값)도 빼도록 안내합니다.
대소문자가 다르면 서로 다른 주소로 취급됩니다. 매개변수가 많은 주소는 Googlebot이 대역폭을 낭비하거나 일부 내용을 색인하지 못하는 원인이 될 수 있습니다. 1단계의 목표는 새 글이 처음부터 주소 하나로만 열리게 하는 것입니다.
같은 내용이 여러 주소로 열린다면 대표 주소를 지정합니다. Google의 중복 URL 통합 문서는 리다이렉트와 rel=canonical 표시를 강한 신호로, 사이트맵 포함을 약한 신호로 구분합니다. 실무에서는 옛 주소나 불필요한 형태의 주소를 301 리다이렉트로 옮기는 방법을 권합니다. 매개변수가 붙은 주소처럼 계속 열려야 하는 주소에는 rel=canonical로 대표 주소를 적습니다.
기존 페이지에서 링크로 연결합니다
Google 링크 문서에 따르면 Google은 href 속성을 가진 a 태그를 대체로 따라갑니다. span 태그나 onclick 처리로 만든 링크는 발견되지 않을 수 있습니다. 중요한 페이지는 사이트 안 다른 페이지 한 곳 이상에서 연결하는 것이 권장됩니다. 링크 문구도 「자세히 보기」 대신 대상 내용을 구체적으로 적습니다.
발행 직전에는 아래 다섯 가지를 점검합니다.
- 새 주소에 매개변수·세션 값이 없고, 대소문자 규칙이 기존 주소와 같습니다.
- 목록 페이지(카테고리·최신 글 목록) 첫 화면에 새 글 링크가 나타납니다.
- 주제가 가까운 기존 글 한두 편의 본문에 새 글 링크를 추가했습니다.
- 링크 문구만 읽어도 새 글의 주제를 알 수 있습니다.
- 자바스크립트로 링크를 넣는 화면이라면 URL 검사 도구의 렌더링 결과에 링크가 보입니다.
사이트맵에는 새 페이지를 어떻게 적나요?
사이트맵은 수집 대상 주소와 수정 시각을 적은 XML 파일입니다. Google과 Bing 문서의 작성 기준은 아래와 같습니다.
| 항목 | 작성 기준 | 자주 생기는 문제 |
|---|---|---|
| loc(주소) | 프로토콜부터 적은 전체 주소로, 검색 결과에 보이기 원하는 대표 주소만 넣습니다 | 상대 경로나 중복 주소를 함께 넣습니다 |
| lastmod(수정 시각) | 의미 있는 변경이 마지막으로 생긴 시각을 넣습니다. Bing은 날짜와 시각을 함께 적는 ISO 8601 형식(예: 2026-10-20T09:30:00+09:00)을 권합니다 | 사이트맵 생성 시각이나 저작권 연도 변경 시각을 넣습니다 |
| priority·changefreq | Google과 Bing 모두 이 값을 쓰지 않는다고 밝혔습니다 | 값을 높이면 수집이 빨라진다고 기대합니다 |
| 파일 크기 | 파일 하나에 주소 5만 개, 압축 전 50MB 이하이며, 넘으면 나눠 사이트맵 색인 파일로 묶습니다 | 한 파일에 모든 주소를 계속 쌓습니다 |
Google은 lastmod 값이 일관되고 검증 가능하게 정확할 때만 이 값을 활용합니다. Bing은 이 값으로 재수집 우선순위를 정하고, 내용이 바뀌지 않은 주소는 건너뛸 수 있습니다. 모든 주소의 lastmod가 매번 같은 시각으로 바뀌면 실제 새 페이지가 그 속에 묻힙니다.
사이트맵은 여러 개로 나눠 제출할 수 있습니다. 나눈 뒤에는 페이지 색인 생성 보고서를 사이트맵별로 필터링해 색인 상태를 따로 볼 수 있습니다. 실무에서는 새 글 전용 사이트맵을 분리하는 방법을 권합니다. 예를 들어 가상의 ○○ 기업이라면 제품 페이지, 고객 사례, 새 글을 세 파일로 나눕니다. 그러면 새 글 파일의 처리 상태와 색인 결과만 따로 확인할 수 있습니다.
사이트맵 제출과 색인 유도 요청은 어떻게 하나요?
사이트맵 위치를 알립니다
방법은 세 가지이며 함께 쓸 수 있습니다.
- robots.txt에 「Sitemap:」 뒤에 사이트맵 전체 주소를 적은 줄을 추가합니다. 이 줄은 파일 어디에 넣어도 됩니다.
- Search Console 사이트맵 보고서에서 사이트맵 주소를 제출합니다.
- Bing Webmaster Tools의 Sitemaps 메뉴에서 제출합니다. Bing은 제출된 사이트맵을 바로 가져오고, 보통 하루 한 번 이상 업데이트를 다시 확인합니다.
Search Console로 제출하지 않은 사이트맵은 파일이 놓인 위치 아래 경로의 주소에만 적용됩니다. 실무에서는 사이트맵 파일을 사이트 최상위 위치에 두는 방법을 권합니다.
발행 직후 변경 사실을 알립니다
IndexNow(주소 추가·변경·삭제를 검색엔진에 즉시 통지하는 규약)는 발행 시점을 곧바로 알리는 수단입니다. Bing은 사이트맵이 사이트 전체 범위를, IndexNow가 즉시성을 맡는 보완 관계로 보고 둘을 함께 쓰라고 권합니다.
IndexNow 문서에 따르면 참여 검색엔진 한 곳에 보낸 주소는 다른 참여처에도 공유됩니다. FAQ에 나온 참여처는 Bing, Naver, Yandex, Seznam.cz 등이며 Google은 목록에 없습니다. Google에는 사이트맵과 URL 검사 도구로 알립니다.
절차는 API 키 생성, 키를 담은 UTF-8 텍스트 파일 업로드, 발행 때마다 호스트·키·주소 목록을 POST로 전송하는 순서입니다. Bing 안내에 따르면 많은 CMS·CDN·플러그인이 이미 IndexNow를 지원하므로, 사용 중인 플랫폼 설정부터 확인합니다. 결과는 응답 코드로 판단합니다.
| 응답 코드 | 의미 | 담당자 조치 |
|---|---|---|
| 200 | 정상 접수 | 기록표에 접수 날짜를 적습니다 |
| 202 | 접수됨, 키 검증 대기 | 키 파일이 열리는지 보고 접수로 적습니다 |
| 400 | 형식 오류 | 전송 데이터 형식을 고칩니다 |
| 403 | 키가 유효하지 않거나 키 파일에 없음 | 키 파일 위치와 내용을 대조합니다 |
| 422 | 주소가 해당 호스트 소속이 아니거나 키가 규격과 맞지 않음 | 보낸 주소의 도메인과 키를 대조합니다 |
| 429 | 요청 과다 | 요청 간격을 늘립니다 |
Google은 주소가 몇 개뿐이면 URL 검사 도구로 색인을 요청하도록 안내합니다. 개별 요청에는 할당량이 있고, 같은 주소를 여러 번 요청해도 더 빨리 수집되지는 않습니다. 실무에서는 발행 당일 핵심 페이지만 한 번 요청하고, 나머지는 사이트맵에 맡기는 방법을 권합니다.
AI 검색 봇의 접근을 점검합니다
AI 서비스마다 봇 이름과 공식 설정 안내가 다릅니다. 그래서 사용하는 서비스의 공식 문서에서 검색용 봇 이름을 먼저 확인합니다. 아래는 OpenAI를 예로 든 것입니다.
OpenAI 문서에서 OAI-SearchBot은 검색용 봇입니다. 이 봇을 거부한 사이트는 ChatGPT 검색 답변에 나타나지 않으며, 탐색용 링크로만 나타날 수 있습니다. GPTBot은 모델 학습용 수집 봇이라 별도로 설정합니다.
검색 노출을 원하면 robots.txt에 「User-agent: OAI-SearchBot」 줄을 쓰고 다음 줄에 「Allow: /」를 적습니다. 모든 봇에 적용되는 「Disallow」 규칙이 새 글 경로를 막는지도 함께 봅니다. OpenAI는 robots.txt 변경이 검색에 반영되기까지 약 24시간이 걸릴 수 있다고 안내하며, 공개된 IP 대역의 요청을 허용하도록 권합니다.
수집과 색인 여부는 어떻게 확인하나요?
Search Console 사이트맵 보고서는 사이트맵마다 처리 상태를 보여 줍니다. 「성공」은 오류 없이 처리된 상태이고, 「오류 있음」은 가져왔지만 오류가 하나 이상 있는 상태입니다. 「가져올 수 없음」의 원인으로 도움말은 robots.txt 차단, 수동 조치, 잘못된 사이트맵 주소, 일반 오류, 낮은 크롤링 수요를 듭니다.
발견된 페이지 수는 사이트맵에서 읽은 주소 수일 뿐, 그 주소가 수집되거나 색인된다는 보장은 아닙니다. 실제 색인 여부는 새 글 사이트맵으로 페이지 색인 생성 보고서를 필터링해 봅니다. 미색인이면 두 상태를 구분합니다.
- 발견됨 - 현재 색인이 생성되지 않음: 주소는 찾았지만 아직 수집하지 않은 상태입니다. Google은 사이트 과부하가 예상되어 수집 일정을 미룬 경우를 일반적인 원인으로 듭니다.
- 크롤링됨 - 현재 색인이 생성되지 않음: 수집은 했지만 색인에 넣지 않은 상태입니다. 나중에 색인될 수 있으며, 다시 제출할 필요는 없습니다.
AI 봇 방문은 검색엔진 보고서에 나오지 않습니다. 서버 접속 기록에서 사용자 에이전트(요청을 보낸 프로그램 이름)로 찾되, 이름은 흉내 낼 수 있으므로 봇마다 공식 방법으로 신원을 검증합니다.
- Googlebot: 역방향 DNS(IP 주소로 호스트 이름을 조회하는 방법) 결과가 googlebot.com·google.com·googleusercontent.com으로 끝나고, 정방향 조회가 원래 IP로 돌아오는지 봅니다. Google이 공개한 IP 대역과 대조해도 됩니다.
- bingbot: 역방향 DNS 결과가 search.msn.com으로 끝나고, 정방향 조회가 같은 IP로 돌아오는지 봅니다.
- OAI-SearchBot: OpenAI가 공개한 IP 대역과 대조합니다.
Google 재수집 안내에 따르면 수집에는 며칠에서 몇 주가 걸릴 수 있습니다. 발행 다음 날, 1주 뒤, 2주 뒤에 같은 항목을 아래 양식에 적습니다.
| 기록 항목 | 작성 예(가상의 새 글) |
|---|---|
| 대표 주소·발행일 | 새 글 주소 / 10월 20일 |
| 내부 링크 출처 | 최신 글 목록, 관련 글 2편 |
| 사이트맵 포함·lastmod | 새 글 사이트맵 / 2026-10-20T09:30:00+09:00 |
| 제출·알림 결과 | 사이트맵 성공 / IndexNow 200 / URL 검사 1회 |
| Google 색인 상태(1일·1주·2주) | 발견됨 → 크롤링됨 → 색인 생성됨 |
| 봇별 첫 요청(서버 기록) | 검증을 통과한 봇별 첫 요청 날짜와 응답 코드 |
2주가 지나도 발견됨 상태라면 앞 단계로 돌아갑니다. 내부 링크가 렌더링 결과에 보이는지, lastmod가 일괄 갱신되는지부터 다시 봅니다. AI 봇 요청이 없거나 403 응답이 보이면 robots.txt와 방화벽 설정을 점검합니다.
정리
- 새 글 주소는 단어를 하이픈으로 구분하고, 대소문자 규칙을 기존 주소와 맞추며, 매개변수를 넣지 않습니다. 목록 페이지와 관련 글 두 편에서 a 태그 링크로 연결합니다.
- 사이트맵 생성 설정에서 lastmod가 실제 수정 시각인지 점검하고, 새 글 전용 사이트맵을 분리합니다.
- robots.txt에 Sitemap 줄과 사용하는 AI 검색 봇의 허용 규칙을 넣고, Search Console과 Bing Webmaster Tools에 사이트맵을 제출합니다.
- 사용 중인 CMS나 CDN의 IndexNow 자동 통지를 켜고, 200 또는 202 응답을 기록합니다.
- 발행 다음 날부터 기록표에 1일·1주·2주 상태와 검증된 봇별 첫 요청 날짜를 적습니다.
참고 자료
- Build and submit a sitemap (Google Search Central, 확인일 2026-10-22)
- How to specify a canonical URL with rel=canonical and other methods (Google Search Central, 확인일 2026-10-22)
- Ask Google to recrawl your URLs (Google Search Central, 확인일 2026-10-20)
- Link best practices for Google (Google Search Central, 확인일 2026-10-20)
- URL structure best practices for Google Search (Google Search Central, 확인일 2026-10-20)
- Verifying Googlebot and other Google crawlers (Google Search Central, 확인일 2026-10-22)
- Manage your sitemaps using the Sitemaps report (Search Console 도움말, 확인일 2026-10-22)
- Page indexing report (Search Console 도움말, 확인일 2026-10-20)
- How to Verify that Bingbot is Bingbot (Bing Webmaster Blog, 확인일 2026-10-22)
- Keeping Content Discoverable with Sitemaps in AI Powered Search (Bing Webmaster Blog, 확인일 2026-10-22)
- IndexNow Get Started (Bing, 확인일 2026-10-20)
- IndexNow Documentation (IndexNow, 확인일 2026-10-20)
- IndexNow FAQ (IndexNow, 확인일 2026-10-20)
- Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-22)