AI 봇 수집이 갑자기 줄었다면 원인을 세 갈래로 나눠 확인합니다. 수집 감소 원인은 대개 기록 경로 변경, 접근 차단(robots.txt·CDN·방화벽), 서버 오류·요청 제한 가운데 하나입니다. 먼저 기록 경로가 바뀌었는지 보고, 그다음 응답 코드의 변화로 차단과 서버 오류를 구분합니다.
감소가 실제로 일어났는지 먼저 어떻게 확인하나요?
수치가 줄었다면 봇보다 기록을 먼저 봅니다. 실무에서는 사이트 설정을 고치기 전에 같은 기간 기록 경로가 바뀌었는지부터 확인하는 방법을 권합니다.
- 기록 대상 서버 변경: 서버를 늘리거나 옮긴 뒤 새 서버의 접속 기록이 집계에서 빠지면 전체 요청이 함께 줄어듭니다.
- 앞단 캐시 도입: CDN(콘텐츠 전송망)이 캐시로 응답한 요청은 원본 서버까지 오지 않습니다. 그래서 원본 서버 기록에는 남지 않을 수 있습니다.
- 집계 규칙 변경: 봇 이름 목록이나 필터 조건을 바꾼 날부터 특정 봇이 집계에서 빠질 수 있습니다.
판단에는 응답 코드를 함께 씁니다. 사람의 방문과 검색 크롤러 요청이 함께 줄었는데 응답 코드 비율이 그대로라면, 실무에서는 기록 경로부터 확인하는 방법을 권합니다. 계절 요인이나 캠페인 종료로 실제 방문이 줄어도 같은 모습이 나타납니다. 기록 경로에 변화가 없으면 이 가능성도 함께 봅니다.
5xx·429가 함께 늘었다면 서버 쪽 원인이므로 다음 절 표의 해당 행으로 넘어갑니다. AI 봇만 줄었을 때도 같은 표에서 원인을 좁힙니다.
어떤 봇이 어떻게 줄었는지로 원인을 어떻게 좁히나요?
줄어든 봇의 범위와 응답 코드의 변화에 따라 원인도 달라집니다. 아래 표는 서버 기록에서 보이는 이상 신호를 원인 후보와 짝지은 것입니다. 원인 후보는 확정된 결론이 아니라 어디서부터 확인할지를 정하는 출발점입니다.
| 이상 신호 | 원인 후보 | 먼저 확인할 곳 |
|---|---|---|
| 여러 회사의 AI 봇이 같은 날 함께 줄고 403 응답이 늘었음 | CDN·방화벽의 봇 차단 설정 변경 | 보안 설정 변경 이력, 차단 기록 |
| 한 회사의 봇만 줄고 응답 코드는 그대로임 | robots.txt의 해당 봇 규칙 변경, Crawl-delay 추가(이 지시문을 지원하는 봇에 한함) | robots.txt 변경 이력 |
| 한 회사의 봇만 줄고 그 봇 요청에서 403이 늘었음 | 방화벽 IP 허용 목록이 갱신되지 않음 | 허용 목록과 해당 회사의 공개 IP 목록 대조 |
| Googlebot을 포함한 모든 크롤러가 줄고 5xx·429가 늘었음 | 서버 과부하, 요청 수 제한 설정 | 서버 오류 기록, Search Console 크롤링 통계 |
| robots.txt 요청 자체가 실패함 | robots.txt 서버 오류, DNS 장애 | robots.txt 응답 코드, 호스트 상태 |
| 특정 폴더의 요청만 줄었음 | 경로 차단 규칙 추가, 주소 구조 변경 | 해당 경로의 robots.txt 규칙, 리디렉션 기록 |
| 사용자 요청형 봇만 줄고 응답은 정상임 | 해당 서비스의 사용자 질문 감소 또는 서비스 쪽 가져오기 방식 변경 | 같은 기간 자동 수집 봇의 추이 |
마지막 행은 봇마다 robots.txt 적용 여부가 달라 나눠 읽습니다. OpenAI 문서는 ChatGPT-User가 사용자의 행동에 따라 움직이며 웹을 자동으로 수집하는 데 쓰이지 않는다고 설명합니다. 이런 요청에는 robots.txt 규칙이 적용되지 않을 수 있다고도 밝힙니다. Perplexity 문서는 Perplexity-User가 대체로 robots.txt 규칙을 따르지 않는다고 안내합니다.
반면 Anthropic 문서는 Claude-User도 robots.txt로 접근을 제어할 수 있다고 설명합니다. 실무에서는 ChatGPT-User·Perplexity-User의 감소는 사이트 설정보다 서비스 쪽 변화를 먼저 의심하고, Claude-User의 감소는 robots.txt 규칙도 함께 확인하는 방법을 권합니다.
robots.txt는 언제 수집을 멈추게 하나요?
규칙 내용뿐 아니라 robots.txt 파일의 응답 상태도 수집량을 바꿉니다. Google 문서는 응답 상태에 따라 아래와 같이 처리한다고 설명합니다.
| robots.txt 응답 상태 | Google 크롤러의 처리 |
|---|---|
| 4xx(429 제외) | 유효한 robots.txt가 없는 것으로 보고 제한 없이 수집 |
| 5xx 등 서버 오류, 처음 12시간 | 사이트 수집을 멈추고 robots.txt만 계속 다시 요청 |
| 오류가 이어지는 다음 30일 | 마지막으로 정상 수신한 사본을 쓰면서 새 파일을 계속 요청 |
| 30일 이후 | 사이트가 대체로 열려 있으면 robots.txt가 없는 것처럼 처리하고, 가용성 문제가 있으면 수집을 멈춤 |
Google·OpenAI(OAI-SearchBot)·Perplexity 문서는 모두 robots.txt 변경이 반영되기까지 최대 약 24시간이 걸릴 수 있다고 설명합니다. Google 문서는 이 캐시를 여러 크롤러가 함께 쓸 수 있다고도 밝힙니다.
이 지연 때문에 감소는 robots.txt를 고친 당일이 아니라 다음 날부터 보일 수 있습니다. 실무에서는 감소 시작일보다 하루에서 이틀 앞선 날짜까지 포함해 변경 이력을 대조하는 방법을 권합니다. 규칙을 되돌린 뒤에도 회복은 하루 정도 늦게 나타날 수 있습니다.
Anthropic 문서는 비표준 확장인 Crawl-delay를 지원한다고 밝힙니다. 반면 Google 문서는 crawl-delay를 지원하지 않는다고 설명합니다. 다른 목적으로 넣은 Crawl-delay 한 줄이 ClaudeBot의 요청 간격만 늘렸을 수 있으므로, 변경 이력에서 이 지시문도 함께 찾습니다.
서버 오류와 요청 제한은 수집량에 어떻게 영향을 주나요?
Google 문서는 크롤링 속도를 급히 줄이는 방법으로 500·503·429 응답을 설명합니다. 이런 응답이 많아지면 크롤러는 호스트 이름 전체의 수집 속도를 낮추고, 정상 콘텐츠를 반환하는 URL도 함께 느려집니다. 오류가 줄면 속도는 자동으로 회복됩니다.
같은 문서는 한 URL이 여러 날 이런 응답을 내면 색인에서 빠질 수 있다고 경고합니다. 그래서 크롤링을 줄이려고 일부러 500·503·429를 반환하는 방법은 1~2일보다 길게 쓰지 않도록 안내합니다.
이 설명은 Google 크롤러에 해당합니다. 다른 AI 봇이 오류에 어떻게 반응하는지는 각 서비스 문서에 같은 수준으로 공개되어 있지 않습니다. 그래서 Googlebot 추이를 기준선으로 삼아 AI 봇이 함께 줄었는지 비교합니다.
Search Console 크롤링 통계 보고서의 호스트 상태는 robots.txt 가져오기, DNS 변환, 서버 연결의 세 항목으로 나뉩니다. Google 도움말은 robots.txt 요청에 유효한 파일이나 404가 돌아오지 않으면 크롤링을 늦추거나 중단한다고 설명합니다. 그래프 값이 기준선을 넘은 날을 감소 시작일과 나란히 놓고 봅니다.
요청 수 제한 설정도 원인이 될 수 있습니다. 시간당 요청 상한을 낮추면 짧은 시간에 여러 페이지를 요청하는 봇이 먼저 429를 받을 수 있습니다. 실무에서는 상한을 바꾼 날과 429가 늘어난 날을 대조하는 방법을 권합니다.
CDN·보안 설정이 AI 봇을 막고 있는지 어떻게 확인하나요?
robots.txt를 바꾸지 않았는데 여러 AI 봇이 동시에 줄었다면 CDN이나 방화벽 설정을 살핍니다. 이런 설정은 마케팅 담당자가 모르는 사이에 보안·인프라 부서에서 바뀌기도 합니다.
Cloudflare 문서는 이전 Block AI bots 설정을 2026년 9월 15일 종료 대상으로 표시합니다. 이전 설정은 학습과 검색을 겸하는 봇을 차단 대상에서 제외했습니다. 문서는 이제 학습을 차단하는 모든 설정이 이런 겸용 봇도 차단하며, 이전 설정도 여기에 포함된다고 밝힙니다.
같은 문서는 2026년 9월 15일부터 새 도메인에 새 기본값을 적용한다고 설명합니다. 광고가 표시되는 페이지에서 학습 봇과 에이전트 봇(사용자를 대신해 동작하는 봇)을 차단하고, 검색 봇은 허용하는 설정입니다. 새 기본값은 새 도메인 대상이므로, 기존 사이트는 대시보드에서 현재 설정 값을 직접 확인합니다.
이 서비스를 쓰는 사이트라면 2026년 9월 15일 앞뒤로 겸용 봇의 요청이 줄었는지 대조합니다. 차단 설정을 바꾼 날이 따로 있다면 그날도 함께 봅니다. 같은 회사의 AI Crawl Control 문서는 사이트에 접근하는 AI 서비스와 크롤러별 허용·차단 규칙을 화면에서 확인할 수 있다고 설명합니다.
IP 허용 목록도 살펴볼 대상입니다. OpenAI 문서는 GPTBot·OAI-SearchBot·ChatGPT-User 등 봇별 IP 목록을 공개합니다. Perplexity 문서도 PerplexityBot·Perplexity-User의 IP 목록을 공개합니다.
Perplexity 문서는 이 목록을 주기적으로 받아 방화벽 규칙을 자동 갱신하도록 권합니다. 방화벽 설정 변경은 반영에 시간이 걸릴 수 있다고도 안내합니다. 허용 목록을 한 번 만든 뒤 갱신하지 않으면 IP 범위가 바뀐 뒤 정상 봇이 차단될 수 있습니다.
Anthropic 문서는 IP 목록을 자사 크롤러의 요청인지 확인하는 용도로 안내합니다. 동시에 IP 차단은 수집 거부를 안정적으로 보장하지 못할 수 있다며 robots.txt로 제어하도록 권합니다. Anthropic 봇의 403은 IP 규칙과 robots.txt 규칙을 함께 대조합니다.
담당자에게 무엇을 요청하고 어떻게 기록하나요?
원인을 확인하려면 서버·보안 담당자의 자료가 있어야 합니다. 아래 문안은 감소 시작일만 바꿔 그대로 보낼 수 있습니다.
「안녕하십니까. ○월 ○일부터 AI 봇의 요청이 줄어, 감소 시작일 전후 7일간의 아래 자료를 요청드립니다.」
- 자동 수집 봇의 일별 요청 수와 응답 코드 분포
- 사용자 요청형 봇의 일별 요청 수와 응답 코드 분포
- 같은 기간 robots.txt 요청의 일별 응답 코드
- robots.txt·CDN·방화벽·요청 수 제한 설정의 변경 이력
- 서버 이전·캐시 정책·집계 규칙의 변경 이력
문안에는 봇 이름을 함께 적습니다. 자동 수집 봇은 GPTBot·OAI-SearchBot·ClaudeBot·Claude-SearchBot·PerplexityBot·Googlebot입니다. 사용자 요청형 봇은 ChatGPT-User·Claude-User·Perplexity-User입니다. 응답 코드는 200·403·429·5xx로 나눠 달라고 요청합니다.
받은 자료를 아래 양식으로 정리하면 감소 전후를 한 장에서 비교할 수 있습니다.
| 항목 | 기록 방법 |
|---|---|
| 비교 기간 | 감소 시작일 앞뒤 7일씩, 같은 요일끼리 비교 |
| 봇별 요청 수 | 자동 수집 봇과 사용자 요청형 봇을 나눈 일별 요청 수, Googlebot 요청 수 |
| 응답 코드 분포 | 봇별 200·403·429·5xx 비율 |
| robots.txt 응답 | 일별 응답 코드와 실패 횟수 |
| 설정 변경 이력 | 변경 날짜, 담당 부서, 변경 내용 한 줄 |
| 판단 | 원인 후보 표에서 해당하는 행과 다음 확인 사항 |
예를 들어 가상의 ○○ 기업이라면 양식을 다음과 같이 채웁니다.
- 비교 기간: 감소 시작일 앞뒤 7일, 같은 요일끼리 비교
- 봇별 요청 수: 여러 회사의 자동 수집 봇이 같은 날 함께 감소, Googlebot은 변화 없음
- 응답 코드 분포: AI 봇 요청에서 403 비율 증가
- robots.txt 응답: 기간 내내 정상 응답
- 설정 변경 이력: 감소 전날 보안팀이 CDN 봇 차단 설정 변경
- 판단: 원인 후보 표 1행, 다음 확인은 CDN 차단 기록
정리
- 감소 시작일을 정하고 사람·Googlebot 요청이 함께 줄었는지 봅니다. 응답 코드 비율이 그대로면 기록 경로를, 5xx·429가 늘었으면 서버를 먼저 확인합니다.
- 줄어든 봇의 범위와 응답 코드 변화를 보고 원인 후보 표에서 해당 행을 고릅니다.
- 감소 시작일보다 하루에서 이틀 앞선 날짜까지 포함해 robots.txt·CDN·방화벽·요청 제한의 변경 이력을 대조합니다.
- Search Console 호스트 상태와 robots.txt 응답 코드를 감소 시작일과 나란히 놓고 봅니다.
- 원인을 고친 뒤 하루 이상 지나서 같은 양식으로 회복 여부를 다시 기록합니다.
참고 자료
- Google의 robots.txt 사양 해석 방식 (Google Search Central, 확인일 2026-10-22)
- Googlebot 크롤링 속도 줄이기 (Google Search Central, 확인일 2026-10-22)
- 크롤링 통계 보고서 (Search Console 고객센터, 확인일 2026-10-22)
- Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-22)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic, 확인일 2026-10-22)
- Perplexity Crawlers (Perplexity, 확인일 2026-10-22)
- Block AI bots (Cloudflare Docs, 확인일 2026-10-22)
- AI Crawl Control (Cloudflare Docs, 확인일 2026-10-22)