엔진별 신호 차이는 봇 이름보다 세 가지에서 드러납니다. 용도를 나눠 밝히는지, robots.txt가 어디까지 통하는지, 신원을 무엇으로 검증하는지입니다.
ChatGPT·Claude·Perplexity는 용도별 봇 이름과 IP 목록을 공개합니다. Gemini는 구글 검색과 같은 Googlebot 수집을 공유합니다. 대신 robots.txt 토큰과 스니펫 지시어로 쓰임을 나눕니다.
엔진별 신호 차이는 어떤 기준으로 비교하나요?
수집 신호의 특징은 요청의 목적, 사이트의 통제 수단, 진위 확인 방법을 함께 가리킵니다. 같은 AI 봇 방문 1건도 엔진마다 뜻이 다르므로 비교 기준부터 정합니다.
| 기준 | 확인할 질문 | 판단에 주는 의미 |
|---|---|---|
| 용도 분리 | 학습·검색·사용자 요청을 별도 이름으로 밝히는가 | 한 이름에 여러 용도가 섞이면 요청 수만으로 목적을 판단하기 어렵습니다 |
| robots.txt 적용 범위 | 어느 봇이 규칙을 따르고, 어느 요청이 예외인가 | 차단 설정과 실제 방문 기록이 어긋나는 이유를 설명합니다 |
| 신원 검증 수단 | IP 목록과 역방향 DNS 가운데 무엇을 제공하는가 | 사용자 에이전트(방문자가 밝히는 이름)는 위조될 수 있습니다 |
| 설정 반영 시간 | robots.txt를 바꾸면 언제 반영되는가 | 바꾼 직후의 기록을 효과로 잘못 읽지 않게 합니다 |
| 결과 확인 창구 | 노출 실적을 공식 보고서로 볼 수 있는가 | 수집 기록과 대조할 자료가 있는지 정합니다 |
ChatGPT·Claude·Perplexity의 신호는 무엇이 다른가요?
세 서비스 모두 용도별 봇 이름을 공개하지만 운영 방식은 다릅니다. 아래 표는 각 공식 문서에 적힌 내용만 모았습니다.
| 항목 | ChatGPT(OpenAI) | Claude(Anthropic) | Perplexity |
|---|---|---|---|
| 공개한 봇 | 학습·검색·사용자 요청 봇과 광고 검수용 OAI-AdsBot | 학습·검색·사용자 요청 3개 | 검색·사용자 요청 2개(둘 다 기반 모델 학습에 쓰지 않는다고 명시) |
| 사용자 요청과 robots.txt | 규칙이 적용되지 않을 수 있다고 설명 | 자사 봇이 robots.txt 표준 지시어를 따른다고 설명 | 일반적으로 규칙을 따르지 않는다고 설명 |
| IP 목록 | 봇별 파일로 따로 공개 | 크롤러 IP 목록 파일 공개 | 봇별 파일로 공개하고 정기 갱신을 명시 |
| 반영 시간 | 검색 반영에 약 24시간 | 문서에 별도 기재 없음 | 최대 24시간 |
| 결과 확인 창구 | 문서에 별도 기재 없음 | 문서에 별도 기재 없음 | 문서에 별도 기재 없음 |
| 고유한 운영 방식 | 한 번 수집한 결과를 두 용도에 함께 쓸 수 있음 | Crawl-delay 지원, 하위 도메인별 설정 | 웹 방화벽에서 명시적 허용이 필요할 수 있음 |
OpenAI: 한 번의 수집이 두 용도를 겸할 수 있습니다
OpenAI 문서는 OAI-SearchBot과 GPTBot을 모두 허용한 경우를 설명합니다. 이때 중복 수집을 피하려고 한 번의 수집 결과를 두 용도에 함께 쓸 수 있다고 밝힙니다. 따라서 GPTBot 요청이 줄었다는 사실만으로 학습 활용이 줄었다고 단정하기 어렵습니다.
OpenAI는 robots.txt를 가져갈 때 사용자 에이전트에 robots.txt 표식을 붙일 수 있다고 밝힙니다. 실무에서는 이 요청을 별도 행으로 나눠 규칙 확인 빈도를 따로 보는 방법을 권합니다.
OAI-AdsBot은 광고로 제출된 페이지만 방문해 정책 준수를 검사한다고 문서는 설명합니다. 광고를 집행하지 않는 사이트라면 이 봇의 방문은 드물 것으로 예상할 수 있습니다.
Anthropic: 속도 조절과 하위 도메인 설정을 밝힙니다
Anthropic 문서는 비표준 확장인 Crawl-delay(요청 간격 지정)를 지원한다고 설명합니다. 세 서비스 문서 가운데 이 지시어를 명시한 곳은 Anthropic입니다.
차단 규칙은 제외하려는 하위 도메인마다 따로 넣어야 한다고 안내합니다. 크롤러의 출발지 IP가 공개 목록에 있으면 Anthropic 요청이라고 밝힙니다. 다만 IP 차단만으로는 수집 거부가 안정적으로 전달되지 않을 수 있다고 덧붙입니다.
Perplexity: 봇마다 따로 설정하고 방화벽도 점검합니다
Perplexity 문서는 두 봇의 설정이 서로 독립적으로 작동한다고 설명합니다. PerplexityBot에 건 규칙이 Perplexity-User에 그대로 이어지지 않는다는 뜻입니다. 게다가 Perplexity-User는 사용자 요청이라 robots.txt를 일반적으로 따르지 않는다고 밝힙니다.
웹 방화벽을 쓰는 사이트는 두 봇을 명시적으로 허용해야 할 수 있다고 문서는 안내합니다. 사용자 에이전트 일치와 공개 IP 범위를 함께 쓰라고 하며, 범위는 정기적으로 갱신된다고 밝힙니다.
Gemini와 구글 검색의 신호는 어떻게 구분하나요?
구글은 AI 학습 전용 봇을 따로 두지 않습니다. Googlebot이 가져간 콘텐츠의 쓰임을 제품별 통제 수단으로 나눕니다. 그래서 구글 쪽 신호는 누가 왔는지보다 어떤 통제를 걸었는지로 해석합니다.
| 노출·활용 위치 | 수집 주체 | 사이트의 통제 수단 |
|---|---|---|
| 구글 검색(디스커버 포함) | Googlebot | robots.txt, noindex |
| AI 개요·AI 모드 | Googlebot(색인된 페이지) | nosnippet, data-nosnippet, max-snippet, noindex |
| Gemini 앱·Vertex AI의 학습과 그라운딩 | 기존 구글 크롤러 | robots.txt의 Google-Extended 토큰 |
| 사용자 요청 에이전트·Gemini Notebook | Google-Agent, Google-GeminiNotebook | 사용자 요청이라 robots.txt를 일반적으로 따르지 않음 |
Google 문서는 AI 개요·AI 모드에 링크로 나오려면 색인되고 스니펫 표시가 가능하면 된다고 설명합니다. 추가 기술 요건은 없다고 밝힙니다. 노출 실적은 Search Console 실적 보고서의 「웹」 검색 유형에 함께 집계됩니다.
Google-Extended는 Gemini 앱과 Vertex AI의 차세대 모델 학습 여부를 정합니다. 질문 시점에 색인 콘텐츠를 모델에 제공하는 그라운딩(답변 근거 연결)도 함께 정합니다.
신원 검증 방식도 다른 엔진과 다릅니다. Google은 크롤러를 일반 크롤러, 특수 목적 크롤러, 사용자 요청 가져오기로 나눕니다. 그리고 묶음별 IP 목록과 역방향 DNS 이름 형식을 공개합니다.
일반 크롤러는 googlebot.com 계열 이름을 씁니다. 사용자 요청 가져오기는 gae.googleusercontent.com 또는 google.com 계열을 씁니다. Google-Agent는 Web Bot Auth 방식의 신원 확인을 시험 중이라고 문서는 밝힙니다.
엔진별 신호를 해석할 때 흔한 오해는 무엇인가요?
- robots.txt를 바꾸면 모든 엔진에 바로 반영된다는 오해: OpenAI는 검색 반영에 약 24시간, Perplexity는 최대 24시간이 걸릴 수 있다고 밝힙니다. 변경 당일 기록은 비교 대상에서 뺍니다.
- 한 번 받은 IP 목록을 계속 써도 된다는 오해: Perplexity 문서는 범위가 정기적으로 갱신된다고 명시합니다. 실무에서는 엔진별 IP 목록을 정기적으로(예: 매달) 새로 받아 대조하는 방법을 권합니다.
- 봇 이름은 바뀌지 않는다는 오해: Google 문서는 이전 이름 Google-NotebookLM의 지원 기한을 2026년 8월로 적었습니다. 그 기한은 이미 지났으므로 기록 규칙의 옛 이름을 Google-GeminiNotebook으로 바꿉니다.
- 구글의 사용자 요청 가져오기는 모두 AI용이라는 오해: 이 묶음에는 링크 미리보기, 피드 수집, Search Console 소유 확인도 들어 있습니다. AI 신호로는 Google-Agent와 Google-GeminiNotebook만 따로 집계합니다.
- 엔진별 요청 수를 더해 AI 수집 총량으로 봐도 된다는 오해: GPTBot 요청은 학습용으로 이름이 붙습니다. 반면 Googlebot 요청에는 검색, AI 개요, 그라운딩 쓰임이 겹쳐 있습니다. 같은 단위가 아니므로 엔진별로 나눠 보고합니다.
엔진별 기록 규칙은 어떻게 만드나요?
요청 한 건은 다음 순서로 판정해 기록합니다.
- 사용자 에이전트에서 엔진과 봇 이름을 찾습니다.
- 엔진별 검증 수단으로 진위를 확인합니다. OpenAI·Anthropic·Perplexity는 공개 IP 목록 파일과 대조합니다. Google은 IP 목록이나 역방향 DNS 이름 형식으로 확인합니다.
- 용도를 학습·검색·사용자 요청·광고 검수·기타로 나눕니다.
- Googlebot 요청은 용도를 나누지 않고 「검색·AI 공용」으로 둡니다.
- robots.txt 요청과 설정 변경일은 별도 열에 적습니다.
예를 들어 가상의 B2B 제조 기업이 서버 기록을 월별로 정리한다면 아래 표를 초안으로 쓸 수 있습니다.
| 엔진 | 기록할 봇 이름 | 용도 분류 | 검증 수단 | 비고 |
|---|---|---|---|---|
| ChatGPT | GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot | 학습, 검색, 사용자 요청, 광고 검수 | 봇별 IP 목록 파일 | robots.txt 표식 요청은 따로 집계 |
| Claude | ClaudeBot, Claude-SearchBot, Claude-User | 학습, 검색, 사용자 요청 | 크롤러 IP 목록 파일 | 하위 도메인별 robots.txt 확인 |
| Perplexity | PerplexityBot, Perplexity-User | 검색, 사용자 요청 | 봇별 IP 목록 파일 | 방화벽 허용 목록과 대조 |
| Gemini·구글 | Googlebot, Google-Agent, Google-GeminiNotebook | 검색·AI 공용, 사용자 요청 | IP 목록, 역방향 DNS | Google-Extended 설정 상태는 별도 열에 기록 |
용도별로 어떻게 해석하나요?
분류를 마친 뒤에는 용도마다 읽는 방식을 다르게 둡니다. 아래는 문서 설명을 바탕으로 한 실무 해석입니다.
| 용도 | 문서가 밝힌 쓰임 | 실무 해석 |
|---|---|---|
| 학습 | GPTBot 차단은 기반 모델 학습에 쓰지 말라는 표시라고 OpenAI는 설명합니다 | 답변 인용과 직접 연결하지 않고 학습 허용 상태 점검에만 씁니다 |
| 검색 | OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 나오지 않는다고 OpenAI는 설명합니다 | 검색 답변 후보에 남아 있는지 보는 자격 신호로 읽습니다 |
| 사용자 요청 | 이용자의 요청이 있을 때만 생기는 방문이라고 각 문서는 설명합니다 | AI 답변 인용의 선행 신호로 볼 수 있으나 인용을 보장하지는 않습니다 |
| 검색·AI 공용 | AI 개요 노출 실적은 Search Console 「웹」에 함께 집계된다고 Google은 설명합니다 | 수집 기록만 보지 않고 같은 기간의 실적 보고서와 함께 봅니다 |
정리
- 현재 robots.txt의 엔진별 규칙과 Google-Extended 설정을 표로 옮깁니다.
- 위 기록 규칙에 맞춰 서버 기록의 봇 이름을 엔진·용도별로 다시 분류합니다.
- 엔진별 IP 목록과 Google 역방향 DNS 기준으로 진위를 검증합니다. IP 목록은 정기적으로(예: 매달) 새로 받습니다.
- robots.txt를 바꾼 날을 기록에 표시하고, 24시간 이후 데이터부터 비교합니다.
- 사용자 요청 봇의 페이지별 방문을 따로 모아 같은 기간의 Search Console 실적과 함께 검토합니다.
참고 자료
- Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-20)
- Perplexity Crawlers (Perplexity, 확인일 2026-10-20)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic, 확인일 2026-10-20)
- Google's common crawlers (Google Search Central, 확인일 2026-10-20)
- Google's user-triggered fetchers (Google Search Central, 확인일 2026-10-20)
- Verifying Googlebot and other Google crawlers (Google Search Central, 확인일 2026-10-20)
- AI features and your website (Google Search Central, 확인일 2026-10-20)