AI 봇 방문 추이 해석에서 의미 있는 변화란 검증된 요청만 남겨도 여러 주 동안 기준선을 벗어난 움직임입니다. 그 변화가 특정 봇이나 주소 묶음에 몰려 있으면 판단이 더 분명해집니다. 기록 경로 변경, 서버 오류, 접근 규칙 변경으로 설명되는 움직임은 단순 변동으로 분류합니다.
의미 있는 변화와 단순 변동은 그래프에서 어떻게 다르게 나타나나요?
같은 높이로 오른 구간이라도 원인에 따라 해석이 달라집니다. 실무에서는 아래 다섯 기준으로 먼저 분류하는 방법을 권합니다. 기준값은 팀이 문서로 정하고, 판정할 때마다 같은 값을 씁니다.
| 기준 | 단순 변동에 가까운 모습 | 의미 있는 변화에 가까운 모습 |
|---|---|---|
| 지속 기간 | 하루이틀 기준선을 벗어났다가 원래 범위로 돌아옵니다 | 여러 주 연속 같은 방향으로 이어집니다 |
| 범위 | 모든 봇과 주소가 함께 움직입니다. 측정·서버 같은 공통 원인일 가능성이 높아 변경 이력 대조를 먼저 합니다 | 특정 봇이나 특정 주소 묶음에 몰려 있습니다 |
| 응답 코드 | 오류·리디렉션 응답과 함께 움직입니다 | 정상 응답(200) 요청 자체가 늘거나 줄어듭니다 |
| 요청 출처 | 공개 IP 목록과 맞지 않는 요청이 섞여 있습니다 | 검증된 요청만 남겨도 같은 변화가 보입니다 |
| 시점 | 로그 설정 변경, 서버 오류, 접근 규칙 변경과 겹칩니다 | 콘텐츠 추가나 구획 개편 같은 의도한 변경 뒤에 나타납니다 |
오른쪽 열에 해당해도 곧바로 성과로 읽지는 않습니다. 검색·답변용 봇(예: OAI-SearchBot)의 수집 변화는 AI 답변 노출로 이어질 수 있는 선행 신호입니다. 학습용 봇(예: GPTBot)의 변화는 학습 수집의 변화로 따로 읽습니다.
판정은 기준선 고정, 요청 진위 확인, 변경 이력 대조, 변화가 생긴 곳 나누기, 지속성 판정의 순서로 진행합니다. 아래 절이 이 순서를 따릅니다.
비교 기준선은 무엇으로 고정하나요?
그래프를 읽기 전에 비교 대상을 정합니다. 기준선이 매번 달라지면 같은 수치도 늘거나 준 것처럼 보입니다.
- 집계 단위를 정합니다. 일별 그래프에는 하루 단위 흔들림이 그대로 드러나므로, 판정에는 주 단위 합계를 씁니다.
- 기준선 기간을 정합니다. 직전 한 주와만 비교하지 않고, 직전 여러 주(예: 8주)의 최솟값~최댓값 범위를 기준선으로 씁니다. 측정을 시작한 지 얼마 되지 않아 기록이 8주에 못 미치면, 쌓인 주 수만큼으로 기준선을 잡고 그 기간의 판정은 관찰 중으로 둡니다.
- 봇 이름별로 선을 나눕니다. 합친 선 하나에서는 한 봇의 증가가 다른 봇의 감소에 가려집니다. OpenAI 문서는 GPTBot과 OAI-SearchBot을 모두 허용한 사이트에서는 한 번 수집한 결과를 두 용도에 함께 쓸 수 있다고 밝힙니다. 한쪽 이름의 감소가 전체 수집 감소를 뜻하지 않을 수 있으므로, 같은 회사의 봇은 봇별 선과 합계 선을 함께 봅니다.
- 사용자 요청형 기록을 분리합니다. OpenAI 문서는 ChatGPT-User가 웹을 자동으로 수집하는 데 쓰이지 않는다고 설명합니다. 실무에서는 이 기록을 사용자 요청에 따라 생기는 기록으로 보고, 자동 수집 봇과 다른 기준선으로 판정하는 방법을 권합니다.
- 규칙 파일 요청을 뺍니다. OpenAI 문서는 robots.txt를 가져올 때 robots.txt 표시가 덧붙은 사용자 에이전트를 쓸 수 있다고 안내합니다. 규칙 파일 요청은 페이지 수집과 성격이 다르므로 경로 기준으로 집계에서 뺍니다.
완료 기준: 집계 단위, 기준선 기간, 봇별 분리 방식, 제외 대상이 문서 한 장에 적혀 있습니다.
기준선을 벗어난 요청이 실제 AI 봇인지 어떻게 확인하나요?
기준선을 벗어난 주가 나오면 그 주의 요청부터 확인합니다. 사용자 에이전트(요청에 붙는 프로그램 이름표)는 보내는 쪽이 바꿔 적을 수 있기 때문입니다. 전체 기간이 아니라 벗어난 주만 검증하면 작업량이 줄어듭니다.
대조 자료는 서비스마다 공개되어 있습니다. OpenAI는 GPTBot, OAI-SearchBot, ChatGPT-User 등의 IP 목록을 봇별로 공개하고, Perplexity는 PerplexityBot과 Perplexity-User의 목록을 공개합니다. Anthropic 도움말은 봇 IP 목록을 안내하고, 출발 IP가 이 목록에 있으면 Anthropic에서 온 크롤러임을 나타낸다고 설명합니다.
Google 문서는 역방향 DNS 조회(IP 주소로 도메인 이름을 찾는 조회) 절차를 안내합니다. 조회한 도메인이 googlebot.com, google.com, googleusercontent.com 중 하나인지 보고, 그 이름을 다시 조회해 원래 IP와 같은지 확인하는 방식입니다. 요청이 많을 때는 크롤러 유형별 공개 IP 범위 목록과 대조하는 방법도 제시합니다.
- 기준선을 벗어난 주의 요청만 추출합니다.
- 대조 당일 내려받은 서비스별 공개 목록과 IP를 대조합니다. Perplexity 문서는 공식 목록의 최신 범위를 항상 쓰라고 안내합니다.
- 검증을 통과한 요청 수와 통과하지 못한 요청 수를 나눠 적습니다.
- 검증된 요청만으로 그래프를 다시 그려, 기준선을 벗어난 모양이 남는지 봅니다.
통과하지 못한 요청을 빼자 기준선 안으로 돌아왔다면, 봇 이름을 빌린 요청이 섞였던 것입니다. 이때는 「단순 변동(요청 출처)」으로 판정하고 보안·서버 담당자에게 검토를 넘깁니다. 검증 통과 비율과 다시 그린 그래프가 남아 있으면 이 확인이 끝납니다.
걸러낼 원인과 확인할 변경은 어떻게 구분하나요?
검증된 요청에서도 변화가 남으면 그 시점의 변경 이력과 대조합니다. 대조 대상은 측정 경로, 자사 사이트, 서비스 쪽 반영 시간의 세 가지이고, 변화 시점마다 표시를 하나 붙입니다.
측정 경로: 「측정 변경」
그래프가 꺾인 날이 측정 설정을 바꾼 날과 같으면 「측정 변경」으로 표시합니다. 로그 보관 설정 변경, 서버 증설·교체, 캐시 서버(CDN 등 앞단에서 응답을 대신 내주는 서버) 도입처럼 기록 경로가 바뀌면 실제 방문과 관계없이 수치가 달라집니다. 캐시 서버를 도입했다면 원래 서버 로그에 남지 않는 요청이 있는지 확인하는 방법을 권합니다. Google 크롤링 통계 보고서 도움말도 사이트 요청 로그와 보고서 횟수가 약간 다를 수 있다고 설명합니다.
자사 사이트 변경: 「부수 변경」과 「의도한 변경」
차단, 오류, 응답 지연, Crawl-delay로 생긴 변화는 「부수 변경(제외)」으로 표시합니다. 콘텐츠 추가나 구획 개편 뒤의 변화는 「의도한 변경(효과 확인 대상)」으로 표시합니다.
크롤링 통계 보고서 도움말은 급증 원인으로 차단 해제와 새 섹션 추가를, 급감 원인으로 새 robots.txt 규칙, 느린 응답, 서버 오류율 증가를 듭니다. Google 문서는 사이트가 느려지거나 5xx 오류(서버 쪽 오류 응답)나 429(요청 과다 응답)로 답하면 크롤링을 줄이고, 이런 오류가 줄면 크롤링 속도가 자동으로 다시 높아진다고 설명합니다. 이 설명은 Googlebot 기준이므로 다른 AI 봇에는 이력 대조의 참고 틀로만 씁니다.
Anthropic 도움말은 비표준 확장인 Crawl-delay(요청 사이 간격 지정)를 지원한다고 밝힙니다. 이 값을 새로 넣거나 바꾼 뒤의 Anthropic 크롤러 요청 변화는 자사 설정의 결과로 봅니다.
서비스 쪽 반영 시간: 「반영 대기」
robots.txt를 고친 날과 다음 날의 변화는 「반영 대기」로 표시합니다. OpenAI 문서는 robots.txt 수정 뒤 시스템이 맞춰지기까지 약 24시간이 걸릴 수 있다고 밝히고, Perplexity 문서도 변경 반영에 최대 24시간이 걸릴 수 있다고 안내합니다. 실무에서는 이 이틀을 판정 구간에서 빼는 방법을 권합니다.
세 가지 대조에 모두 해당하지 않으면 「해당 없음」으로 표시합니다. 변화 시점마다 아래 표시 하나와 근거 이력의 날짜가 적혀 있으면 대조가 끝납니다.
| 대조 표시 | 다음 처리 |
|---|---|
| 측정 변경 | 단순 변동(측정)으로 판정합니다 |
| 부수 변경(제외) | 단순 변동(사이트 상태)으로 판정합니다 |
| 반영 대기 | 관찰 중으로 두고 반영 기간 뒤 다시 판정합니다 |
| 의도한 변경(효과 확인 대상) | 변화가 생긴 곳 나누기로 넘깁니다 |
| 해당 없음 | 변화가 생긴 곳 나누기로 넘깁니다 |
남은 변화가 생긴 곳은 어떻게 나누나요?
대조 뒤에도 남은 변화는 생긴 곳을 나눠 봅니다. Google 크롤링 통계 보고서는 요청을 응답, 파일 형식, 목적, Googlebot 유형으로 묶어 보여 줍니다. 목적 가운데 「검색」은 Google이 이전에 크롤링한 적 없는 주소이고, 「새로고침」은 알려진 페이지의 재크롤링입니다. 서버 로그도 비슷한 기준으로 나누면 원인이 좁혀집니다.
- 응답 코드별로 나눕니다. 같은 도움말은 사이트 구조 변경이나 이동이 없다면 대부분의 응답이 200 또는 기타 양호 유형이어야 한다고 설명합니다. 늘어난 요청이 404나 리디렉션에 몰려 있으면 깨진 주소 문제로 봅니다.
- 새 주소와 기존 주소로 나눕니다. 서버 로그에는 Google 보고서처럼 서비스 기준의 첫 크롤링 정보가 없으므로, 로그 보관 기간 안에 처음 요청된 주소를 새 주소로 봅니다. 도움말은 최근 많은 콘텐츠를 추가하거나 사이트맵을 제출했다면 검색 크롤링이 급증해야 한다고 안내합니다. 새 주소 요청이 늘었다면 발행일과 대조합니다.
- 사이트 구획별로 나눕니다. 제품, 고객 지원, 블로그처럼 나누면 변화가 몰린 구획이 드러납니다. 이력 대조에서 의도한 변경으로 표시한 구획이 여기서 확인 대상이 됩니다.
완료 기준: 변화가 몰린 응답 코드, 주소 유형, 구획이 한 줄로 적혀 있습니다.
변화가 이어지는지는 어떻게 판정하나요?
마지막으로 지속성을 봅니다. 크롤링 통계 보고서 도움말은 크롤링 속도가 급감한 경우를 설명하면서, Google 크롤링 속도가 일반적으로 1~2주에 걸쳐 상대적으로 안정된다고 밝힙니다. 실무에서는 이를 참고해 한 주 안의 흔들림만으로 판정하지 않는 방법을 권합니다.
기준선을 벗어난 값이 팀이 정한 연속 주 수(예: 2주) 이상 같은 방향이면 「의미 있는 변화」, 그보다 짧으면 「관찰 중」으로 분류합니다. 연속 주 수는 사이트 규모에 맞게 정하고, 정한 뒤에는 바꾸지 않습니다.
판정은 아래 양식으로 남깁니다. 예를 들어 가상의 ○○ 기업이 고객 지원 구획을 개편한 뒤 검색용 봇 요청이 늘었다면 다음과 같이 적습니다.
| 항목 | 기록 예 |
|---|---|
| 대상 | 검색용 봇 하나(예: OAI-SearchBot), 고객 지원 구획 주소 |
| 기준선 | 직전 8주 주간 요청 수의 최솟값~최댓값 |
| 관찰값 | 기준선 최댓값을 3주 연속 넘음 |
| 진위 확인 | 공개 IP 목록과 대조하고 통과 비율 기록 |
| 원인 대조 | 측정 변경·부수 변경 없음, 구획 개편(의도한 변경) 다음 주부터 증가 |
| 응답 분해 | 늘어난 요청 대부분이 정상 응답(200) |
| 판정 | 의미 있는 변화(검색용 봇이므로 답변 노출의 선행 신호) |
| 다음 확인 | 같은 구획 주소의 AI 답변 인용 관찰 시작 |
주간 보고에 그대로 따라 쓸 수 있는 판정 문안은 다음과 같습니다.
- 「○주차 ○○봇 요청 증가는 검증된 요청 기준으로도 기준선을 넘었고, 측정 변경이 없어 의미 있는 변화로 판정합니다.」
- 「○주차 ○○봇 요청 감소는 서버 오류가 발생한 기간과 겹쳐 단순 변동(사이트 상태)으로 판정합니다.」
- 「○주차 상승은 정한 연속 주 수에 못 미쳐 관찰 중으로 분류하고, 다음 주에 다시 판정합니다.」
정리
- 주 단위 집계, 기준선 기간(예: 직전 8주, 기록이 짧으면 쌓인 주 수), 봇별 분리 규칙을 문서 한 장에 정합니다.
- 기준선을 벗어난 주의 요청을 서비스별 공개 IP 목록이나 역방향 DNS로 대조합니다.
- 로그 설정, robots.txt, 서버 오류, 콘텐츠 변경 이력을 그래프 날짜와 대조해 다섯 표시 중 하나를 붙입니다.
- 이력 대조 뒤에도 남은 변화를 응답 코드, 새 주소 여부, 사이트 구획으로 나눕니다.
- 팀이 정한 연속 주 수를 넘긴 변화만 판정 양식에 올리고, 주간 보고에 판정 문장을 적습니다.
참고 자료
- 크롤링 통계 보고서 (Google Search Console 도움말, 확인일 2026-10-22)
- 크롤링 예산 관리 (Google Search Central, 확인일 2026-10-22)
- Google 크롤링 속도 낮추기 (Google Search Central, 확인일 2026-10-22)
- Google 크롤러 및 가져오기 도구의 요청 확인 (Google Search Central, 확인일 2026-10-22)
- Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-22)
- Perplexity Crawlers (Perplexity, 확인일 2026-10-22)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic, 확인일 2026-10-22)