AI 서비스가 웹페이지를 가져가는 AI 봇은 크게 세 종류입니다. 모델 학습용 크롤러, AI 검색 색인용 크롤러, 사용자 질문에 맞춰 페이지를 여는 사용자 요청형 봇입니다. 크롤러 종류마다 robots.txt 차단 효과가 다르므로 봇 이름을 역할별로 구분해서 설정합니다.
AI 봇은 역할에 따라 어떻게 나뉘나요?
크롤러(crawler)는 사이트를 자동으로 돌며 페이지를 모으는 프로그램입니다. 페처(fetcher)는 요청이 있을 때 특정 주소 하나만 가져오는 프로그램입니다.
Google 문서는 자사 크롤러를 일반 크롤러, 특수 목적 크롤러, 사용자 요청형 페처로 나눕니다. OpenAI·Anthropic·Perplexity 문서도 학습, 검색, 사용자 요청을 서로 다른 봇 이름으로 구분합니다. 공개 문서를 기준으로 역할을 묶으면 다음과 같습니다.
| 구분 | 하는 일 | 대표 이름 | 차단했을 때의 의미 |
|---|---|---|---|
| 학습용 수집 | 생성형 AI 모델 학습에 쓰일 수 있는 콘텐츠를 모읍니다 | GPTBot, ClaudeBot | 앞으로 학습 데이터에서 빼 달라는 신호가 됩니다 |
| AI 검색 색인용 수집 | AI 검색 답변에 사이트를 노출하고 링크하기 위해 모읍니다 | OAI-SearchBot, Claude-SearchBot, PerplexityBot | 검색 답변 노출에서 제외되거나 줄어듭니다(서비스별 차이는 아래 절) |
| 사용자 요청형 가져오기 | 사용자가 질문하거나 주소를 주면 그때 페이지를 엽니다 | ChatGPT-User, Claude-User, Perplexity-User, Google-Agent | ChatGPT-User·Perplexity-User·Google 사용자 요청형 페처는 robots.txt가 적용되지 않을 수 있습니다. Claude-User는 차단 시 질문 응답에 해당 페이지를 쓰지 못합니다 |
| 사용 제어 토큰 | 직접 방문하지 않고, 이미 수집된 콘텐츠의 사용 범위만 정합니다 | Google-Extended | Gemini 학습과 일부 그라운딩에서 제외되며 검색에는 영향이 없습니다 |
그라운딩(grounding)은 AI가 답변을 만들 때 외부 자료를 근거로 붙이는 과정입니다. 네 번째 줄은 방문하는 봇이 아니라 robots.txt에 쓰는 제어 이름입니다.
서비스별 봇 이름과 역할은 어떻게 다른가요?
OpenAI
OpenAI 문서는 GPTBot이 생성형 AI 기반 모델을 개선하는 데 쓰인다고 설명합니다. GPTBot을 차단하면 그 사이트 콘텐츠를 학습에 쓰지 말라는 뜻이 됩니다.
OAI-SearchBot은 ChatGPT 검색 기능에 웹사이트를 보여 주는 용도입니다. 문서에 따르면 이 봇을 차단한 사이트는 ChatGPT 검색 답변에 나오지 않습니다. 다만 사이트로 이동하는 탐색 링크로는 나올 수 있습니다.
ChatGPT-User는 사용자가 시작한 동작에 쓰입니다. 질문에 답하려고 페이지를 열거나 GPT Actions로 외부 앱을 호출하는 경우입니다. 문서는 사용자가 시작한 동작이므로 robots.txt 규칙이 적용되지 않을 수 있다고 적고 있습니다. 이 봇은 자동 수집이나 검색 노출 판단에는 쓰이지 않습니다.
OAI-AdsBot은 광고로 제출된 페이지만 방문하는 광고 검수용 봇으로, 위 세 역할과는 별개입니다.
Anthropic
Anthropic 도움말은 ClaudeBot이 모델 학습에 쓰일 수 있는 웹 콘텐츠를 모은다고 설명합니다. 이 봇은 robots.txt 표준 지시와 비표준 확장인 Crawl-delay(방문 간격 지정)를 따릅니다.
Claude-SearchBot은 사용자에게 보여 줄 검색 결과 품질을 높이려고 콘텐츠를 살핍니다. 문서는 이 봇을 차단하면 검색용 색인에서 콘텐츠가 빠진다고 설명합니다.
Claude-User는 사용자가 Claude에 질문했을 때 웹사이트에 접근합니다. 문서는 Claude-User를 차단하면 사용자 질문에 답할 때 해당 콘텐츠를 가져오지 못한다고 설명합니다. 그만큼 사용자 주도 검색에서 사이트 노출이 줄어들 수 있습니다.
Perplexity
Perplexity 문서는 PerplexityBot을 검색 결과에 웹사이트를 보여 주고 링크하는 봇으로 설명합니다. 이 봇은 AI 기반 모델 학습에 쓰이지 않는다고 밝힙니다. Perplexity-User는 사용자 질문에 답하려고 페이지를 엽니다. 문서는 이 봇이 사용자 요청에 따른 것이므로 대체로 robots.txt 규칙을 따르지 않는다고 적고 있습니다.
Googlebot은 Google 검색 색인을 만드는 기본 크롤러입니다. 스마트폰용과 데스크톱용 두 가지 형태로 방문합니다. Google 문서는 AI 개요(AI Overviews)와 AI 모드에 나오려면 페이지가 색인되어 있어야 한다고 설명합니다. 스니펫과 함께 검색에 나올 수 있는 상태여야 하며 추가 기술 요건은 없다고 밝힙니다.
Google-Extended는 별도 HTTP 사용자 에이전트 문자열이 없는 제어용 토큰입니다. Google이 수집한 콘텐츠를 앞으로의 Gemini 모델 학습에 쓸지 정합니다. Gemini 앱과 Vertex AI의 일부 그라운딩 사용도 함께 정합니다.
Google-Agent는 Google 사용자 요청형 페처 문서에 실린 이름입니다. Google 인프라에서 운영되는 에이전트가 사용자 요청에 따라 웹을 탐색하고 작업할 때 씁니다. 같은 문서는 사용자 요청형 페처가 대체로 robots.txt 규칙을 무시한다고 설명합니다.
흔한 오해는 무엇이고 실제로는 어떤가요?
- GPTBot을 막으면 ChatGPT 검색에서도 빠진다는 오해: OpenAI 문서는 각 설정이 따로 작동한다고 설명합니다. GPTBot을 막고 OAI-SearchBot을 허용할 수 있습니다. 검색 노출을 정하는 이름은 OAI-SearchBot입니다.
- Google-Extended를 막으면 검색 순위나 AI 개요에 불리하다는 오해: Google 문서는 Google-Extended가 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰이지 않는다고 밝힙니다. AI 개요와 AI 모드는 Googlebot 접근 설정과 nosnippet 같은 스니펫 제어로 관리합니다.
- 로그에서 Google-Extended 방문을 찾을 수 있다는 오해: 이 토큰에는 별도 사용자 에이전트 문자열이 없습니다. 별도 방문 기록은 없고, 수집은 기존 Google 크롤러의 사용자 에이전트로 남습니다.
- robots.txt 한 줄이면 모든 AI 접근을 막을 수 있다는 오해: ChatGPT-User, Perplexity-User, Google 사용자 요청형 페처는 문서에서 robots.txt가 적용되지 않을 수 있다고 밝힙니다. 반면 Anthropic 문서는 Claude-User 차단 시 해당 콘텐츠를 가져오지 못한다고 설명합니다. 차단 효과는 봇 종류마다 따로 판단합니다.
- IP 차단이 robots.txt보다 확실하다는 오해: Anthropic 도움말은 IP 차단이 제대로 또는 계속 작동하지 않을 수 있다고 경고합니다. 봇이 robots.txt 자체를 읽지 못하게 되기 때문입니다.
robots.txt는 봇별로 어떻게 나눠 쓰나요?
robots.txt는 사이트 최상위 경로에 두는 수집 규칙 파일입니다. 봇마다 「User-agent: 봇 이름」을 쓰고 다음 줄에 허용 또는 차단 경로를 적습니다. 무엇을 허용할지는 회사가 정할 일이며 정답이 따로 있지는 않습니다.
예를 들어 가상의 B2B 제조 기업이 학습 제공은 원하지 않고 AI 검색 노출은 유지하려 한다면 다음처럼 나눌 수 있습니다.
| User-agent | 규칙 | 의도 |
|---|---|---|
| GPTBot | Disallow: / | OpenAI 모델 학습 제외 |
| ClaudeBot | Disallow: / | Anthropic 모델 학습 제외 |
| Google-Extended | Disallow: / | Gemini 학습과 일부 그라운딩 제외 |
| OAI-SearchBot | Allow: / | ChatGPT 검색 노출 유지 |
| Claude-SearchBot | Allow: / | Claude 검색 색인 포함 유지 |
| PerplexityBot | Allow: / | Perplexity 검색 노출 유지 |
| Claude-User | Allow: / | Claude 사용자 질문 응답에 페이지 사용 허용 |
| Googlebot | 기존 규칙 유지 | Google 검색과 AI 개요 대상 유지 |
ChatGPT-User와 Perplexity-User는 robots.txt가 적용되지 않을 수 있으므로, 이 파일만으로 접근 여부가 정해진다고 보지 않습니다.
설정할 때 공식 문서가 밝힌 조건 세 가지를 함께 반영합니다. Anthropic 문서는 하위 도메인마다 robots.txt를 따로 설정해야 한다고 설명합니다. OpenAI 문서는 robots.txt를 고친 뒤 반영까지 약 24시간이 걸릴 수 있다고 밝힙니다. 또 OAI-SearchBot과 GPTBot을 모두 허용하면 한 번 수집한 결과를 두 용도에 함께 쓸 수 있다고 적고 있습니다.
실무에서는 robots.txt를 바꾼 날짜와 바꾼 줄을 변경 기록에 남기는 방법을 권합니다. 그래야 이후 로그 변화가 설정 때문인지 구분할 수 있습니다.
서버 로그에서 AI 봇을 어떻게 구분해 기록하나요?
서버 접속 기록의 사용자 에이전트 항목에 GPTBot, ClaudeBot 같은 봇 이름이 남습니다. Google 문서는 크롤러를 사용자 에이전트, 요청 IP, IP의 역방향 DNS 이름 세 가지로 확인할 수 있다고 설명합니다. 역방향 DNS는 IP 주소에서 호스트 이름을 찾는 조회입니다. OpenAI 문서도 봇별 공개 IP 대역을 게시하고, OAI-SearchBot 요청을 허용하라고 권합니다.
실무에서는 사용자 에이전트 문자열만 보고 판단하지 않고 공개 IP 대역이나 역방향 DNS로 한 번 더 확인하는 방법을 권합니다. 페이지 단위로 쌓을 때는 다음 양식을 그대로 쓸 수 있습니다.
| 기록 항목 | 작성 예시(가상) |
|---|---|
| 방문 일시 | 2026-10-11 09:12 |
| 봇 이름 | OAI-SearchBot |
| 역할 분류 | AI 검색 색인용 |
| 요청 경로 | /products/valve-a |
| 응답 코드 | 200 |
| 진위 확인 방법 | 공개 IP 대역 대조 |
| 관련 설정 변경 | 10월 8일 GPTBot 차단 추가 |
해석할 때는 역할 분류를 먼저 봅니다. 검색 색인용 봇의 방문은 AI 답변에 인용될 수 있는 선행 신호이지만 인용을 보장하지는 않습니다. 문서 정의에 비추어 보면 사용자 요청형 봇의 방문은 AI 서비스 사용자의 질문에 그 페이지가 쓰였다는 뜻으로 볼 수 있습니다. 학습용 봇의 방문은 검색 노출과는 별개로 봅니다.
응답 코드가 403이나 404로 반복되면 봇이 페이지 내용을 읽지 못한 것입니다. 이런 경로는 허용 의도와 실제 응답이 일치하는지 우선 점검합니다.
정리
이름이 비슷해도 차단 효과가 다르므로 다음 순서로 실행합니다.
- 현재 robots.txt를 열어 봇 이름별 규칙을 표로 옮깁니다. 대상은 학습용·검색용·사용자 요청형 봇과 Google-Extended입니다.
- 학습 제공, AI 검색 노출, 사용자 질문 응답 허용 여부를 따로 정하고 봇 이름별 규칙을 맞춥니다.
- 하위 도메인별 robots.txt에도 같은 규칙을 반영하고 변경 날짜를 기록합니다.
- 서버 로그에서 봇 이름별 방문을 위 양식으로 페이지 단위로 쌓고 IP로 진위를 확인합니다.
- 설정을 바꾸고 하루 이상 지난 뒤 역할 분류별 방문 변화와 응답 코드를 비교합니다.
참고 자료
- Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-11)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic, 확인일 2026-10-11)
- Perplexity Crawlers (Perplexity, 확인일 2026-10-11)
- Google's common crawlers (Google Search Central, 확인일 2026-10-11)
- Google's user-triggered fetchers (Google Search Central, 확인일 2026-10-11)
- Overview of Google crawlers and fetchers (Google Search Central, 확인일 2026-10-11)
- AI features and your website (Google Search Central, 확인일 2026-10-11)