검색 봇과 AI 봇을 비교하면 AI 봇만 막힌 페이지, AI가 아직 찾지 못한 페이지, 수정 내용이 AI 쪽에 늦게 반영되는 페이지를 찾을 수 있습니다. Google 검색 봇(Googlebot)과 네이버 검색 봇(Yeti) 기록을 기준선으로 삼습니다. AI 봇 기록을 같은 페이지·같은 기간으로 맞추면 이 차이가 드러납니다.
두 기록을 함께 보면 무엇을 판단할 수 있나요?
검색 봇(Googlebot·Yeti) 방문만 보면 검색 색인을 준비하는 상태를 알 수 있습니다. AI 봇 방문만 보면 AI 수집 흐름을 알 수 있습니다. 둘을 함께 볼 때의 판단 근거는 다음 세 가지입니다.
- 접근 차이: 같은 URL에 대해 묶음별 응답 코드를 비교합니다. 검색 봇은 200인데 AI 봇은 403(접근 거부)이나 429(요청 과다)인 URL이 대상입니다.
- 발견 차이: URL마다 묶음별 방문 기록이 있는지 없는지를 비교합니다.
- 반영 시차: 페이지를 고친 뒤 묶음별 재방문까지 걸린 날짜를 비교합니다.
Google 문서는 AI 개요와 AI 모드에서 출처 링크로 표시될 자격 요건을 두 가지로 설명합니다. 페이지가 색인되어 있고, 스니펫과 함께 검색에 표시될 자격이 있어야 합니다. 이 밖에 추가 기술 요건은 없다고 밝힙니다. 이 조건을 갖춰도 표시가 보장되지는 않습니다. 기본 관리 항목으로는 robots.txt뿐 아니라 CDN(콘텐츠 전송망)과 호스팅 단계에서도 크롤링을 허용하라고 안내합니다.
따라서 Google 검색 안의 AI 기능을 볼 때는 Googlebot 기록에서 출발합니다. 네이버 검색 반영 여부는 Yeti 기록으로 봅니다. 다른 AI 서비스는 각 서비스 봇의 기록으로 따로 확인합니다. 이 비교로 알 수 있는 것은 수집 상태라는 선행 신호입니다. 인용이나 노출이 보장된다는 뜻은 아닙니다.
비교할 봇은 어떻게 묶고 검증하나요?
1단계: 봇을 목적별 네 묶음으로 나눕니다
봇 이름별로 세면 표가 길어지고 판단하기도 어려워집니다. 목적이 같은 봇끼리 묶어 비교표의 열로 씁니다. 검색 봇 묶음은 검색엔진별로 두 행으로 나눕니다.
| 묶음 | 포함하는 봇 | 공식 문서의 설명 |
|---|---|---|
| 검색 봇(Google) | Googlebot(스마트폰·데스크톱) | Google 문서는 검색 안의 AI 기능도 일반 검색과 같은 제어로 관리한다고 설명합니다. Googlebot에 대한 robots.txt와 nosnippet·noindex 같은 미리보기 제어가 해당합니다. |
| 검색 봇(네이버) | Yeti | 네이버 서치어드바이저 문서는 네이버 검색로봇의 이름이 Yeti이며 robots.txt 규칙을 준수한다고 설명합니다. |
| AI 검색 봇 | OAI-SearchBot | OpenAI 문서는 이 봇이 검색용이라고 설명합니다. 이 봇을 차단한 사이트는 ChatGPT 검색 답변에 표시되지 않으며, 탐색용 링크로는 표시될 수 있다고 밝힙니다. |
| AI 학습 봇 | GPTBot | OpenAI 문서는 GPTBot을 차단하면 생성형 AI 기반 모델 학습에 쓰지 말라는 의사로 본다고 설명합니다. |
| 사용자 요청형 | ChatGPT-User | OpenAI 문서는 사용자가 요청한 작업에 따라 가져오기 때문에 robots.txt 규칙이 적용되지 않을 수 있다고 설명합니다. |
Google 사용자 트리거 가져오기는 이 비교에서 「기타」로 따로 셉니다. Google 문서는 사용자 트리거 가져오기가 대체로 robots.txt 규칙을 무시한다고 설명합니다. 실무에서는 Google 문서 목록의 사용자 에이전트 문자열을 그대로 옮겨 필터에 쓰는 방법을 권합니다.
Google-Extended는 robots.txt에서 쓰는 제어용 이름이며 별도의 사용자 에이전트(요청을 보낸 프로그램 이름)가 없습니다. 로그에 따로 나타나지 않으므로 열을 만들지 않습니다.
Google 문서에 따르면 Googlebot 사용자 에이전트에 들어 있는 크롬 버전 숫자는 계속 바뀝니다. 네이버 서치어드바이저 문서도 Yeti의 구체적 버전은 예고 없이 바뀔 수 있다고 밝힙니다. 로그 필터에서는 버전 부분을 와일드카드로 처리합니다.
완료 기준: 묶음마다 로그 필터 조건이 한 줄씩 문서로 남아 있어야 합니다. 어느 묶음에도 속하지 않는 봇은 「기타」로 따로 셉니다. 필터 조건은 다음처럼 적습니다.
- 검색 봇(Google): 사용자 에이전트에 「Googlebot」 포함, 「Googlebot-Image」「Googlebot-Video」가 들어간 요청은 제외, 크롬 버전 숫자는 와일드카드
- 검색 봇(네이버): 사용자 에이전트에 「Yeti」 포함, 버전 숫자는 와일드카드
- AI 검색 봇: 사용자 에이전트에 「OAI-SearchBot」 포함
- AI 학습 봇: 사용자 에이전트에 「GPTBot」 포함
- 사용자 요청형: 사용자 에이전트에 「ChatGPT-User」 포함
2단계: 사칭 요청을 걸러냅니다
사용자 에이전트 문자열은 누구나 흉내 낼 수 있습니다. 검증을 통과한 요청만 남겨야 묶음 사이의 차이를 사칭 트래픽과 섞지 않고 볼 수 있습니다. Google 문서가 안내하는 확인 순서는 다음과 같습니다.
- 로그에 남은 IP 주소로 역방향 DNS 조회(IP 주소로 도메인을 찾는 조회)를 합니다.
- Googlebot 같은 일반 크롤러는 결과 도메인이 googlebot.com 또는 google.com으로 끝나는지 봅니다. 사용자 요청으로 가져오는 Google 요청은 gae.googleusercontent.com 또는 google.com으로 끝납니다.
- 그 도메인으로 정방향 DNS 조회를 합니다.
- 처음의 IP 주소가 다시 나오면 검증을 통과한 것입니다.
요청이 많으면 Google이 공개한 IP 범위 파일과 대조하는 편이 빠릅니다. Googlebot 같은 일반 크롤러는 common-crawlers.json 파일에 있습니다. AdsBot 같은 특수 크롤러는 special-crawlers.json 파일로 따로 공개됩니다. 사용자 트리거 가져오기는 user-triggered-fetchers.json과 user-triggered-fetchers-google.json 파일로 나뉩니다.
OpenAI도 OAI-SearchBot, GPTBot, ChatGPT-User의 IP 목록 파일을 각각 공개합니다. 실무에서는 이 목록을 정기적으로(예: 주 1회) 새로 받아 대조하는 방법을 권합니다.
Yeti 요청에는 위의 Google 도메인 조회 절차를 그대로 쓸 수 없습니다. 네이버 서치어드바이저 문서는 검색로봇의 IP 대역이 언제든지 바뀔 수 있다고 설명합니다. IP 대역과 이름을 확인하는 방법은 별도의 「검색로봇 확인 방법」 가이드로 안내합니다. 실무에서는 Yeti 요청도 그 가이드의 방법으로 검증한 뒤 비교표에 넣는 방법을 권합니다.
완료 기준: 묶음별로 「검증 통과·검증 실패」 건수가 나와야 합니다. 검증에 실패한 요청은 비교표에서 뺍니다.
같은 페이지 기준으로는 어떻게 맞춰 보나요?
3단계: URL 한 행에 네 묶음을 나란히 둡니다
사이트 합계끼리 비교하면 어느 페이지에서 차이가 나는지 알 수 없습니다. 대표 URL 하나를 단위로 삼고 묶음별 값을 채웁니다.
예를 들어 가상의 ○○ 기업 제품 소개 페이지라면 한 달 비교표를 다음과 같이 채웁니다.
| 항목 | Googlebot | AI 검색 봇 | AI 학습 봇 | 사용자 요청형 |
|---|---|---|---|---|
| 검증 통과 요청 수 | 18 | 6 | 2 | 1 |
| 마지막 방문일 | 10월 17일 | 10월 16일 | 10월 3일 | 10월 11일 |
| 대표 응답 코드 | 200 | 403 | 403 | 200 |
| 평균 응답 시간 | 0.4초 | 0.1초 | 0.1초 | 0.5초 |
네이버 검색까지 함께 보려면 Yeti 열을 하나 더 두고 같은 네 항목을 채웁니다.
Googlebot 열은 Search Console의 크롤링 통계 보고서와 대조합니다. 이 대조는 Googlebot 열에만 적용합니다. 이 보고서는 응답, 파일 형식, 목적, Googlebot 유형별로 집계를 보여 줍니다. 목적별 항목은 처음 크롤링한 URL과 이미 알려진 페이지의 재크롤링을 나눠 보여 줍니다.
다만 총 요청 수에는 실행되지 않거나 실패한 가져오기, 리디렉션 체인 안의 요청도 들어가므로 서버 로그와는 흐름만 대조합니다.
이 보고서는 도메인 속성이나 루트 수준 URL 접두어 속성에서만 볼 수 있습니다. AI 봇에는 이런 보고서가 없으므로 AI 봇 세 열은 서버 로그를 기준 자료로 씁니다. Yeti 열도 서버 로그로 채웁니다.
완료 기준: 측정 대상 URL마다 묶음별 값이 채워져 있어야 합니다. 서버 로그의 Googlebot 사이트 전체 요청 추이가 크롤링 통계 보고서 추이와 같은 방향인지 확인합니다.
4단계: 응답 코드와 응답 시간을 묶음별로 비교합니다
같은 URL인데 묶음마다 응답이 다르면 서버 앞단 설정부터 점검합니다. 실무 기준으로는 봇 차단 규칙, 요청 속도 제한, 국가별 접근 제한 순서로 보면 원인을 좁히기 쉽습니다. 가상 예시의 AI 봇 열처럼 403이 매우 짧은 응답 시간과 함께 나온다면 서버 앞단에서 차단했을 가능성이 있습니다. 이 경우 CDN·보안 장비 설정을 우선 점검합니다.
robots.txt 파일의 응답도 묶음별로 따로 봐야 합니다. Google 문서는 robots.txt를 5xx나 429 응답으로 가져오지 못하면 처음 12시간 동안 사이트 크롤링을 멈춘다고 설명합니다. 이후 30일 동안은 마지막으로 정상 수신한 버전을 쓰고, 그 뒤 처리는 사이트 상태에 따라 달라진다고 밝힙니다.
네이버 서치어드바이저 문서는 robots.txt 응답이 4xx면 「모두 허용」, 5xx면 「모두 허용하지 않음」으로 해석한다고 설명합니다. 5xx라도 이전에 정상 수집한 규칙은 일시적으로 쓰일 수 있다고 덧붙입니다. robots.txt가 HTML 문서로 반환되면 규칙이 있어도 없음(모두 허용)으로 해석될 수 있다고도 밝힙니다. 같은 문서는 일반 텍스트 파일(text/plain)로 작성하라고 권장합니다.
완료 기준: 묶음 사이에 응답 코드가 다른 URL 목록이 나와야 합니다. 각 URL에는 그 응답을 만든 설정 위치(웹서버·CDN·보안 장비)를 함께 적습니다.
응답 차이가 나면 원인은 어디에 있나요?
5단계: 차이가 난 URL을 패턴별로 분류합니다
비교표에서 차이가 난 URL을 아래 패턴 가운데 하나로 분류합니다. 원인 칸은 추정되는 원인이며, 다음 확인 칸을 점검해 원인을 확정합니다.
| 패턴 | 관찰 | 가능한 원인 | 다음 확인 |
|---|---|---|---|
| 1 | Googlebot 200, AI 검색 봇 403·429 | CDN·방화벽의 봇 차단 또는 속도 제한 | 보안 설정의 봇 규칙과 허용 목록 |
| 2 | Googlebot은 방문, AI 검색 봇은 요청 기록 자체가 없음 | robots.txt에서 해당 봇을 막았거나 AI 서비스가 아직 발견하지 못함 | robots.txt의 해당 봇 규칙 |
| 3 | AI 봇은 방문, Googlebot은 방문 없음 | robots.txt의 Googlebot 차단, 또는 내부 링크·사이트맵 누락으로 미발견 | Googlebot 규칙, URL 검사 결과, 내부 링크·사이트맵 |
| 4 | OAI-SearchBot은 정상, GPTBot 요청만 적음 | 한 번 수집한 결과를 두 용도에 함께 쓸 수 있음 | robots.txt의 GPTBot 규칙 확인, 요청 수 차이만으로 차단으로 보지 않음 |
| 5 | ChatGPT-User는 꾸준한데 OAI-SearchBot은 적음 | 사용자 요청에 따른 가져오기 수요는 있으나 검색용 자동 수집이 적음 | AI 검색 봇 허용 여부와 응답 코드 |
| 6 | 수정한 페이지에 Googlebot은 다시 왔으나 AI 봇의 마지막 방문일은 수정 전 | 반영 시차 | 6단계 재측정 일정 |
OpenAI 문서는 두 봇을 모두 허용하면 중복 크롤링을 피하려고 한 번의 크롤링 결과를 두 용도에 함께 쓸 수 있다고 설명합니다.
한 달 기록만으로 원인을 단정하지 않습니다. 실무에서는 같은 패턴이 두 달 연속 나온 URL부터 조치 대상으로 올리는 방법을 권합니다. 패턴 1의 서버 앞단 차단과 패턴 2의 robots.txt 차단은 설정을 바꿔 바로 확인·수정할 수 있으므로 먼저 처리합니다.
완료 기준: 차이가 난 모든 URL에 패턴 번호가 하나씩 붙어 있어야 합니다. 조치할 URL과 지켜볼 URL도 나뉘어 있어야 합니다.
조치 뒤 다시 확인하는 시점은 언제인가요?
6단계: 변경 당일·2일·7일·30일에 다시 측정합니다
OpenAI 문서는 robots.txt를 바꾼 뒤 검색 결과에 반영되기까지 약 24시간이 걸릴 수 있다고 설명합니다. Search Console 도움말은 URL 검사 도구의 「크롤링된 페이지 보기」에서 Google이 크롤링한 페이지의 HTML을 볼 수 있다고 안내합니다. 검사한 URL의 색인 생성을 Google에 요청할 수 있다고도 안내합니다.
네이버 서치어드바이저 문서는 검색로봇이 방문한 뒤 최대 1주일 이내에 콘텐츠가 검색에 반영된다고 설명합니다. robots.txt를 수정한 뒤에는 웹마스터도구의 robots.txt 도구에서 수집 요청으로 검색로봇에 알릴 수 있다고 안내합니다.
2일차는 OpenAI가 설명한 약 24시간 반영 뒤의 첫 확인 시점입니다. 7일차와 30일차는 실무 제안입니다. 7일차는 네이버 문서가 설명한 최대 1주일 반영 기간을 참고한 시점입니다.
- 변경 당일: 변경 내용과 시각, 대상 URL을 기록합니다. robots.txt가 모든 묶음에 200으로 응답하는지도 점검합니다. Googlebot 쪽은 URL 검사 도구로 크롤링된 HTML을 살펴본 뒤 색인 생성을 요청합니다. robots.txt를 바꿨다면 네이버 웹마스터도구의 robots.txt 도구에서 수집 요청을 실행합니다.
- 2일차: AI 검색 봇이 robots.txt를 다시 요청했는지, 대상 URL의 응답 코드가 바뀌었는지 점검합니다.
- 7일차: 대상 URL에 검증을 통과한 방문이 Yeti를 포함한 묶음별로 새로 생겼다면 날짜와 함께 기록합니다.
- 30일차: 비교표를 다시 만들어 같은 패턴이 남아 있는지 확인합니다.
재측정 결과는 아래 문안의 괄호만 바꿔 월간 비교 메모로 남깁니다.
「[기간] 측정 대상 [n]개 URL 가운데 [n]개에서 Googlebot과 AI 검색 봇의 응답이 달랐습니다. 주된 패턴은 [번호]이며 원인 위치는 [웹서버·CDN·보안 장비]입니다. [날짜]에 [조치]를 적용했고 [날짜] 재측정 결과는 [결과]입니다. 다음 확인일은 [날짜]입니다.」
완료 기준: 조치마다 재측정 날짜와 결과가 한 줄씩 남아 있고, 이 기록이 다음 달 비교표의 기준선으로 이어져야 합니다.
정리
- 봇을 검색 봇(Googlebot·Yeti)·AI 검색·AI 학습·사용자 요청형 네 묶음으로 나누고 묶음별 로그 필터 조건을 문서로 남깁니다.
- Google 봇은 역방향·정방향 DNS 조회와 공개 IP 목록으로, Yeti는 네이버의 검색로봇 확인 방법으로 검증한 요청만 남깁니다.
- 대표 URL 한 행에 묶음별 요청 수·마지막 방문일·응답 코드·응답 시간을 채웁니다. Googlebot 사이트 전체 추이는 크롤링 통계 보고서와 대조합니다.
- 차이가 난 URL에 패턴 번호를 붙이고 패턴 1·2부터 서버 앞단 설정과 robots.txt를 점검합니다.
- 조치 후 2일·7일·30일에 같은 비교표로 다시 측정하고 월간 비교 메모를 작성합니다.
참고 자료
- Verifying Googlebot and other Google crawlers (Google Search Central, 확인일 2026-10-24)
- Google's common crawlers (Google Search Central, 확인일 2026-10-20)
- Google's user-triggered fetchers (Google Search Central, 확인일 2026-10-24)
- How Google Interprets the robots.txt Specification (Google Search Central, 확인일 2026-10-24)
- AI features and your website (Google Search Central, 확인일 2026-10-24)
- 크롤링 통계 보고서 (Search Console 고객센터, 확인일 2026-10-24)
- URL 검사 도구 (Search Console 고객센터, 확인일 2026-10-24)
- Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-24)
- robots.txt 설정하기 (네이버 서치어드바이저, 확인일 2026-10-24)
- 검색엔진 최적화의 목적 (네이버 서치어드바이저, 확인일 2026-10-24)