AI 봇 이름(사용자 에이전트, UA)만 보고 요청을 세면 위조 UA 요청까지 함께 집계됩니다. 그러면 실제 수집이 늘지 않아도 수집량이 늘어 보입니다. 진짜 AI 봇이 겪지 않은 오류가 사이트 문제로 기록되기도 합니다.
봇 검증은 서비스별 공식 기준을 따릅니다. 그 기준은 DNS 왕복 확인이나 공개 IP 목록 대조입니다. 검증 뒤 요청을 「확인됨·위조·판정 불가」로 나누고 확인된 요청만 셉니다. 그렇게 낸 지표라야 개선 판단에 쓸 수 있습니다.
위조 UA 요청은 어떤 지표를 어떻게 바꾸나요?
UA 문자열은 요청을 보내는 쪽이 원하는 대로 적을 수 있는 값입니다. Google 크롤러 개요 문서는 자사 크롤러를 세 가지 신호로 식별한다고 설명합니다. 사용자 에이전트 헤더, 출발지 IP 주소, 역방향 DNS 호스트 이름입니다. UA 하나만 기준으로 삼으면 나머지 두 신호가 맞지 않는 요청도 봇 지표에 들어갑니다.
위조 요청이 섞이는 정도는 사이트마다 다릅니다. 아래 표는 위조 요청이 섞일 때 지표가 어떻게 보이는지와 잘못 내리기 쉬운 판단을 짝지은 것입니다.
| 지표 | 위조 요청이 섞일 때 보이는 모습 | 잘못 내리기 쉬운 판단 |
|---|---|---|
| 봇별 수집 요청 수 | 특정 봇 이름의 요청이 갑자기 늘어남 | AI 서비스의 관심이 커졌다고 해석함 |
| 응답 코드 비율 | 404·403 비율이 올라감 | 깨진 링크나 차단 설정 오류로 오인함 |
| 페이지별 수집 분포 | 로그인·관리자·존재하지 않는 경로가 상위에 오름 | 수집 우선순위가 바뀌었다고 오인함 |
| 봇 유형 구성비 | 사용자 요청형 봇 이름의 비중이 커짐 | AI 답변 활용이 늘었다는 선행 신호로 과대 해석함 |
| 시간대 패턴 | 짧은 시간에 요청이 몰림 | 크롤링 주기가 바뀌었다고 판단함 |
확인된 사용자 요청형 접속이라도 그 수가 곧 인용 횟수는 아닙니다. 여기에 위조 요청까지 섞이면 이 선행 신호마저 읽을 수 없게 됩니다.
피해는 숫자 하나가 틀리는 데서 끝나지 않습니다. 오류율이 부풀면 고칠 필요가 없는 경로를 고치게 됩니다. 실제 AI 봇이 겪는 오류는 위조 요청에 묻혀 순위가 밀립니다. 그렇게 개선 순서가 틀어집니다.
공식 문서는 진짜 봇을 어떻게 확인하라고 하나요?
확인 방법은 서비스마다 다릅니다. 크게 DNS 왕복 확인과 공개 IP 목록 대조로 나뉩니다. 아래는 각 서비스 공식 문서의 설명을 정리한 것입니다.
| 서비스 | 공식 문서가 설명하는 확인 방법 | 통과 기준 |
|---|---|---|
| 출발지 IP를 역방향 DNS로 조회하고, 얻은 이름을 정방향 DNS로 다시 조회합니다. 크롤러 유형별 IP 범위 파일과 대조할 수도 있습니다. | 일반 크롤러(Googlebot 등)는 googlebot.com 또는 geo.googlebot.com으로 끝나야 합니다. 특수 크롤러는 rate-limited-proxy-로 시작하는 google.com 이름입니다. 사용자 요청 가져오기는 google-proxy-로 시작하는 google.com 이름이거나 gae.googleusercontent.com 이름입니다. 정방향 결과는 원래 IP와 같아야 합니다. | |
| Bing | 2012년 웹마스터 블로그는 역방향 DNS 조회 뒤 정방향 DNS로 되돌려 확인하라고 설명했습니다. 현재는 IP를 입력해 Bingbot인지 확인하는 도구 페이지도 있습니다. | 이름이 search.msn.com으로 끝나고 원래 IP로 되돌아와야 합니다. 도구에서도 Bingbot으로 확인되어야 합니다. |
| OpenAI | GPTBot, OAI-SearchBot, ChatGPT-User마다 따로 공개 IP 목록 파일을 제공합니다. | UA에 적힌 이름에 맞는 목록 범위 안에 출발지 IP가 있어야 합니다. |
| Perplexity | PerplexityBot과 Perplexity-User의 IP 목록 파일을 각각 제공합니다. 방화벽에서는 UA 일치와 IP 확인을 함께 쓰라고 권합니다. | UA와 출발지 IP가 같은 봇의 목록에서 함께 맞아야 합니다. |
| Anthropic | 지원 센터 문서가 크롤러 IP 주소 목록 파일을 연결합니다. | 문서는 출발지 IP가 이 목록에 있으면 Anthropic에서 온 크롤러라고 설명합니다. |
Google의 IP 범위 파일은 하나가 아닙니다. 일반 크롤러, 특수 크롤러, 사용자 요청 가져오기 등 다섯 파일로 나뉩니다. 봇 이름에 맞는 파일과 대조해야 유형까지 정확히 분류됩니다. Googlebot 이름인데 사용자 요청 가져오기 쪽 이름으로 끝나는 요청은 일반 크롤러로 통과시키지 않습니다.
공개 목록과 크롤링 IP는 바뀔 수 있습니다. Bing 블로그는 2012년 당시 사용하는 IP가 언제든 바뀔 수 있어 목록을 공개하지 않는다고 설명했습니다. Perplexity 문서도 공개 파일을 기준으로 허용 규칙을 정기적으로 갱신하라고 권합니다. 실무에서는 대조할 때마다 최신 파일을 받는 방법을 권합니다. 한 번 받은 목록을 계속 쓰면 진짜 요청이 위조로 분류될 수 있기 때문입니다.
이상 신호가 보이면 어떤 원인부터 의심하나요?
이상 신호에는 위조 요청 말고도 다른 원인이 있을 수 있습니다. 아래 표는 신호별 원인 후보와 먼저 할 확인입니다.
| 이상 신호 | 원인 후보 | 판단 기준 |
|---|---|---|
| 서버 기록의 Googlebot 요청은 급증했는데 Search Console 크롤링 통계 추이는 그대로임 | 위조 UA 요청, 집계 방식 차이 | 검증 통과 요청만 다시 세어 추이 방향을 비교합니다. |
| AI 봇 이름 요청의 404 비율이 사람 방문보다 높음 | 취약 경로를 찾는 위조 요청, 실제로 깨진 내부 링크 | 확인된 요청의 404만 수정 대상으로 올립니다. |
| 같은 봇 이름의 요청이 공개 목록 밖 IP에서 많이 들어옴 | 위조 요청, 목록 갱신 지연 | 최신 목록으로 재대조하고, 그래도 범위 밖이면 위조로 분류합니다. |
| 사용자 요청형 이름(ChatGPT-User·Perplexity-User·Claude-User)의 비중이 급증함 | 위조 요청, 실제 사용자 요청 증가 | IP 대조를 통과한 요청만 사용자 요청 증가로 기록합니다. |
| robots.txt로 막은 경로에 Googlebot 이름 요청이 계속 들어옴 | 위조 요청, robots.txt 작성 오류 | 검증을 통과하면 규칙 작성부터 점검합니다. |
| 한 IP에서 여러 회사의 봇 이름이 번갈아 나타남 | 위조 요청 | 이름마다 그 회사의 기준을 적용하고, 통과하지 못하면 위조로 분류합니다. |
표의 판단 기준은 각 문서의 설명에 근거합니다. Crawl Stats 도움말은 일부 요청이 집계에서 빠질 수 있다고 밝힙니다. 그래서 서버 기록과 수치가 약간 다를 수 있다고 설명합니다. 두 수치의 절대값이 아니라 추이 방향을 비교하는 이유입니다.
Google 크롤러 개요 문서는 일반 크롤러가 자동 크롤링에서 robots.txt 규칙을 항상 따른다고 설명합니다. 막은 경로에 검증된 Googlebot이 계속 온다면 규칙 작성 오류를 먼저 의심할 수 있습니다.
사용자 요청형은 다릅니다. OpenAI 문서는 ChatGPT-User 요청이 사용자가 시작한 것이어서 robots.txt 규칙이 적용되지 않을 수 있다고 설명합니다. Perplexity 문서도 Perplexity-User가 대체로 robots.txt를 따르지 않는다고 밝힙니다. 막은 경로에 이런 이름이 보인다고 곧바로 위조로 단정하지 않고, IP 대조 결과로 판정합니다.
검증 결과는 어떻게 나눠 기록하나요?
실무에서는 「진짜냐 가짜냐」 두 가지가 아니라 세 가지로 나누는 방법을 권합니다. 확인 수단이 없는 요청을 억지로 한쪽에 넣으면 그 자체로 지표가 왜곡되기 때문입니다.
- 확인됨: 해당 서비스의 공식 기준을 통과한 요청입니다. 수집량·오류율·페이지 분포 같은 본 지표는 이 요청만으로 계산합니다.
- 위조: UA는 봇 이름인데 DNS 왕복이 맞지 않거나 최신 목록에서도 범위 밖인 요청입니다. 보안 점검용으로 따로 모읍니다.
- 판정 불가: 공식 확인 수단이 없는 봇 이름이거나 DNS 조회가 실패한 요청입니다. 실제 IP가 기록되지 않은 요청도 여기에 넣습니다. 본 지표에 더하지 않고 별도 행으로 둡니다.
기록은 주간 단위로, 봇 이름마다 한 행씩 남깁니다. 예를 들어 가상의 ○○ 기업이 GPTBot 한 주치를 기록한다면 다음과 같습니다.
| 항목 | 작성 예 |
|---|---|
| 기간 | 10월 13일~10월 19일 |
| 봇 이름 | GPTBot |
| 전체 요청 수(UA 기준) | 1,200건 |
| 확인됨 · 위조 · 판정 불가 | 900건 · 250건 · 50건 |
| 확인됨 중 오류 응답 | 404 12건, 503 3건 |
| 대조 기준 | OpenAI 공개 IP 목록, 10월 19일 받은 판 |
| 비고 | 판정 불가 50건은 프록시 뒤 실제 IP 미기록 |
세 분류의 합은 전체 요청 수와 같아야 합니다. 이 예에서 수정 대상은 확인된 요청에서 나온 오류 15건뿐입니다. 위조 250건의 404는 수정 목록에 올리지 않습니다.
전체 요청 수와 확인됨 수를 나란히 남기면 위조 비중이 커지는 주를 따로 찾을 수 있습니다. 확인됨 수는 그대로인데 전체만 늘었다면 수집이 늘어난 것이 아닙니다. 그 주는 위조 유입이 늘어난 주로 기록합니다.
서버 담당자에게는 무엇을 요청하나요?
검증은 마케팅 담당자가 직접 하기보다 서버 기록에 분류 열을 추가하는 작업에 가깝습니다. 아래 문안을 그대로 복사해 보낼 수 있습니다.
요청 문안: 서버 접속 기록에 봇 검증 결과 열을 추가해 주시기 바랍니다. 세부 조건은 다음과 같습니다.
- 대상: Googlebot, Bingbot, GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User, Claude-SearchBot 이름의 요청
- Google·Bing: 역방향·정방향 DNS 왕복 확인으로 판정해 주십시오. Google은 크롤러 유형별 호스트 이름 기준을 적용해 주십시오.
- OpenAI·Perplexity·Anthropic: 각 회사가 공개한 크롤러 IP 목록과 대조해 판정해 주십시오. OpenAI·Perplexity는 봇 이름별 목록을 따로 써 주십시오.
- 결과 값: 확인됨, 위조, 판정 불가 세 값으로 남겨 주십시오.
- 갱신: IP 목록은 매일 새로 받고, 받은 날짜를 함께 기록해 주십시오. DNS 조회 결과는 IP별로 저장해 반복 조회를 줄여 주십시오.
요청할 때 두 가지를 함께 밝힙니다. 첫째, 이 작업은 집계 전에 분류하려는 것이며 차단 설정과는 별개입니다. Anthropic 문서는 IP 차단 같은 방법으로는 거부 의사가 제대로, 지속적으로 전달되지 않을 수 있다고 설명합니다. Bing 블로그도 2012년 당시 고정 IP 목록으로 응답을 달리하면 나중에 문제가 생길 수 있다고 경고했습니다.
둘째, 위조로 분류된 요청을 차단할지는 따로 결정합니다. 먼저 목록 갱신 지연 때문이 아닌지 확인한 뒤 정합니다.
정리
AI 봇 지표는 UA 이름으로 센 숫자가 아니라 공식 기준으로 확인된 요청으로 계산합니다. 위조 요청은 수집량, 오류율, 페이지 분포, 봇 유형 구성비를 한꺼번에 왜곡합니다. 바로 실행할 순서는 다음과 같습니다.
- 최근 한 주의 서버 기록에서 AI 봇과 검색 봇 이름 요청을 뽑아 전체 요청 수를 기록합니다.
- 위 요청 문안으로 서버 담당자에게 확인됨·위조·판정 불가 분류 열 추가를 요청합니다.
- 본 지표를 확인된 요청만으로 다시 계산해 분류 전 수치와 함께 기록 양식에 남깁니다.
- 확인된 요청에서 나온 오류 경로만 수정 목록에 올립니다.
- Googlebot 확인됨 추이를 Search Console 크롤링 통계와 매주 비교해 분류 기준을 점검합니다.
참고 자료
- Verifying Googlebot and other Google crawlers (Google Search Central, 확인일 2026-10-22)
- Overview of Google crawlers and fetchers (Google Search Central, 확인일 2026-10-22)
- Crawl Stats report (Search Console 도움말, 확인일 2026-10-22)
- How to Verify that Bingbot is Bingbot (Bing Webmaster Blog, 2012년 게시, 확인일 2026-10-22)
- Verify Bingbot (Bing Webmaster Tools, 확인일 2026-10-22)
- Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-22)
- Perplexity Crawlers (Perplexity, 확인일 2026-10-22)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic 지원 센터, 확인일 2026-10-22)