실시간 조회 봇은 AI 서비스 사용자의 질문·주소 입력·작업 지시처럼 사람의 행동으로 시작되어 페이지를 바로 가져가는 요청입니다. 서버 기록에 남은 한 건은 사용자의 요청을 처리하려고 AI가 그 주소를 열었다는 뜻입니다. 다만 이 기록이 색인 등록이나 인용 확정을 뜻하지는 않습니다.
실시간 조회 봇은 정확히 무엇을 가리키나요?
크롤러는 정해진 일정에 따라 사이트를 순회하며 페이지를 수집합니다. 실시간 조회는 이와 달리 사람의 행동에서 시작됩니다. Google은 이런 요청을 사용자 트리거 가져오기(user-triggered fetcher, 사용자 행동으로 시작되는 가져오기)라고 부릅니다. Google 문서는 이를 사용자가 Google 제품 안에서 가져오기 기능을 실행해 시작되는 요청으로 설명합니다.
OpenAI 문서는 ChatGPT-User가 ChatGPT와 Custom GPT의 일부 사용자 행동에 쓰인다고 밝힙니다. Perplexity 문서에 따르면 사용자가 질문하면 Perplexity-User가 정확한 답을 위해 페이지를 방문합니다. 답변에 그 페이지 링크가 들어갈 수 있다는 안내도 같은 문서에 있습니다.
각 회사 문서에서 확인되는 특징은 다음과 같습니다.
- 출발점이 사람의 행동입니다. 정해진 수집 일정이 아니라 사용자의 질문이나 실행이 요청을 만듭니다.
- 자동 순회 수집이 아닙니다. OpenAI 문서는 ChatGPT-User가 자동 방식의 웹 크롤링에 쓰이지 않는다고 설명합니다. Perplexity 문서는 Perplexity-User가 웹 크롤링이나 AI 기반 모델 학습용 수집에 쓰이지 않는다고 적습니다.
- 검색 크롤러와 역할이 다릅니다. 검색 결과용 수집은 별도 이름의 크롤러가 맡습니다.
이 설명에 따르면 실시간 조회는 사이트 전체 순회가 아니라 그 요청에 필요한 페이지만 가져가는 것으로 해석할 수 있습니다.
따라서 실시간 조회 기록이 말해 주는 사실은 좁고 분명합니다. 사용자의 질문·자료 지정·작업 지시와 이 주소가 특정 시각에 연결되었다는 사실입니다. 실무에서는 이를 답변 재료로 열렸다는 선행 신호로 다루는 편이 안전합니다.
서비스마다 실시간 조회 봇은 어떻게 표시되나요?
주요 AI 서비스는 실시간 조회 봇에 별도의 사용자 에이전트(요청자가 스스로 밝히는 이름) 이름을 붙입니다. robots.txt(사이트가 봇에게 접근 범위를 알리는 파일)에 대한 설명은 회사마다 다릅니다.
| 서비스 | 사용자 에이전트 이름 | robots.txt에 대한 문서 설명 | 출처 검증 자료 |
|---|---|---|---|
| OpenAI | ChatGPT-User | 사용자가 시작한 행동이므로 robots.txt 규칙이 적용되지 않을 수 있다고 설명합니다. | 공개 IP 목록 chatgpt-user.json |
| Anthropic | Claude-User | robots.txt 지시를 존중한다고 밝힙니다. Claude-User를 차단하면 사용자 질문에 콘텐츠를 가져오지 못해 노출이 줄 수 있다고 안내합니다. | 공개 IP 목록 bots.json |
| Perplexity | Perplexity-User | 사용자가 요청한 가져오기이므로 대체로 robots.txt 규칙을 따르지 않는다고 설명합니다. | 공개 IP 목록 perplexity-user.json |
| Google-Agent, Google-GeminiNotebook 등 | 사용자 요청이므로 대체로 robots.txt 규칙을 따르지 않는다고 밝힙니다. | Google 소유 IP: user-triggered-fetchers-google.json(google-proxy로 시작하는 google.com 역방향 DNS), 사용자 소유 Google Cloud: user-triggered-fetchers.json(gae.googleusercontent.com 역방향 DNS), 에이전트: user-triggered-agents.json |
같은 실시간 조회라도 robots.txt 설정이 미치는 효과는 회사마다 다릅니다. 차단을 검토할 때는 회사별 문서를 기준으로 판단하고, 한 회사의 동작을 다른 회사에 그대로 적용하지 않습니다.
Google 문서에 따르면 Google-GeminiNotebook의 이전 사용자 에이전트 이름은 Google-NotebookLM이며, 2026년 8월까지 지원한다고 표기되어 있습니다. 그 시점 이전 기록을 분석할 때는 두 이름을 모두 찾습니다.
검색 크롤러·에이전트와는 무엇이 다른가요?
실시간 조회와 가장 자주 혼동되는 대상은 검색용 크롤러입니다. 각 회사 문서는 OAI-SearchBot, Claude-SearchBot, PerplexityBot을 검색 기능용 크롤러로 설명합니다. 실시간 조회는 사용자 대화가 진행되는 그 시점에 일어납니다.
Google 문서에는 사용자 요청으로 움직이지만 성격이 다른 두 가지가 더 있습니다. Google 문서는 Google-Agent를 Google 인프라의 에이전트가 사용자 요청에 따라 웹을 탐색하고 행동을 수행할 때 쓰는 이름으로 소개합니다. Google-GeminiNotebook은 Gemini Notebook 사용자가 프로젝트 출처로 지정한 개별 주소를 요청하는 데 쓰입니다.
| 구분 | 출발점 | 기록이 말해 주는 것 |
|---|---|---|
| 대화형 실시간 조회(ChatGPT-User, Claude-User, Perplexity-User) | 사용자의 질문 또는 대화 중 입력한 주소 | 사용자 대화에 필요해 이 주소가 열렸습니다. |
| 출처 입력형 가져오기(Google-GeminiNotebook) | 사용자가 자료로 지정한 주소 | 사용자가 이미 이 주소를 알고 자료로 지정했습니다. |
| 행동 대리형 에이전트(Google-Agent) | 사용자가 맡긴 작업 | 읽기를 넘어 탐색이나 행동의 경로로 이 사이트가 쓰였습니다. |
| 검색 색인 크롤러(OAI-SearchBot 등) | 서비스의 수집 일정 | 검색 결과 후보로 미리 수집되었습니다. |
대화형 세 이름은 기록만으로 질문 때문에 열린 요청인지, 사용자가 주소를 붙여 넣어 열린 요청인지 구분할 수 없습니다.
네 유형을 한 줄로 합산하면 의미가 섞입니다. 출처 입력형 요청이 늘었다면 사용자가 이 주소를 자료로 공유했을 가능성을 먼저 검토합니다. 대화형 요청이 늘었다면 사용자 대화에 이 주소가 쓰이는 일이 늘었다고 볼 수 있습니다. 두 경우는 다음에 할 일이 다르므로 칸을 나눠 기록합니다.
실시간 조회에 대해 흔히 오해하는 점은 무엇인가요?
실시간 조회는 사람의 방문과 같다는 오해
요청을 보내는 주체는 AI 서비스의 서버이며, 질문한 사용자는 사이트에 오지 않습니다. 사용자가 답변 속 링크를 눌러 들어오는 방문은 별개의 사건입니다. 기록할 때는 봇 요청과 링크 클릭 방문을 다른 칸에 둡니다.
실시간 조회가 있으면 검색 색인에도 들어 있다는 오해
OpenAI 문서는 ChatGPT-User가 검색 노출 여부 판단에 쓰이지 않는다고 설명합니다. 같은 문서에 따르면 OAI-SearchBot을 차단한 사이트는 ChatGPT 검색 답변에 표시되지 않습니다. 다만 탐색용 링크로는 나타날 수 있다고 안내합니다. 실시간 조회 기록만으로 검색 색인 여부를 판단하지 않고, 검색 크롤러 기록을 따로 확인합니다.
요청 횟수가 곧 질문한 사람 수라는 오해
공식 문서는 요청 한 건과 질문 한 번, 사용자 한 명의 대응 관계를 설명하지 않습니다. 따라서 요청 횟수를 사용자 수나 질문 수로 환산하지 않습니다. 권하는 방법은 같은 주소가 같은 유형으로 반복해 열리는지를 주 단위 추세로 확인하는 것입니다.
Google의 사용자 트리거 요청은 모두 AI용이라는 오해
Google 문서의 사용자 트리거 목록에는 Google Site Verifier(소유권 확인), Google Read Aloud(음성 읽기), Feedfetcher(피드 수집), Chrome Web Store처럼 AI와 무관한 기능도 들어 있습니다. Google 쪽 기록은 이름별로 나눈 뒤 AI 관련 항목만 실시간 조회로 분류합니다.
로그의 요청 한 건은 어떻게 판정하고 기록하나요?
Google 문서는 Google 크롤러를 사칭한 접근이 걱정될 때 출처를 확인하는 방법을 안내합니다. 이름만 보고 판정하지 않고, 다음 순서로 출처까지 확인합니다.
- 이름을 확인합니다. 사용자 에이전트에 ChatGPT-User, Claude-User, Perplexity-User, Google-Agent, Google-GeminiNotebook이 들어 있는지 봅니다.
- 출발지 IP를 공개 목록과 대조합니다. 각 회사가 공개한 IP 목록 파일에 요청 IP가 들어 있는지 확인합니다. Anthropic 문서는 요청 IP가 공개 목록에 있으면 Anthropic에서 온 크롤러라는 뜻이라고 밝힙니다.
- Google은 DNS로도 확인합니다. Google 문서에 따르면 Google 소유 IP에서 온 가져오기는 google-proxy로 시작하는 google.com 형식의 역방향 DNS 이름을 가집니다. 사용자 소유 Google Cloud에서 실행된 가져오기는 gae.googleusercontent.com 형식입니다. 이어서 그 이름의 정방향 조회가 원래 IP로 돌아오는지 확인합니다.
- 유형을 나눕니다. 대화형, 출처 입력형, 행동 대리형 중 하나로 표시합니다. 출처가 맞지 않는 요청은 출처 불일치 칸으로 따로 둡니다.
- 응답 코드를 함께 적습니다. 실무에서는 4xx·5xx 응답이면 그 대화에서 페이지 내용을 쓰지 못했을 수 있다고 보고 해석 메모에 남깁니다.
예를 들어 가상의 B2B 소프트웨어 기업이라면 다음 양식으로 한 건씩 기록할 수 있습니다.
| 기록 칸 | 기록 예시 |
|---|---|
| 요청 시각 | 10월 20일 14시 05분 |
| 요청 주소 | 요금 안내 페이지 |
| 사용자 에이전트 이름 | ChatGPT-User |
| 출처 검증 결과 | 공개 IP 목록과 일치 |
| 유형 | 대화형 |
| 응답 코드 | 200 |
| 해석 메모 | 사용자 대화 중 열린 것으로 봄. 질문 계기와 주소 입력 계기는 기록으로 구분할 수 없음. 인용 여부는 별도 확인 |
해석 메모에는 확인된 사실과 추정을 나눠 씁니다. 기록에서 확인되는 것은 주소가 열렸다는 사실까지입니다.
주 단위 추세는 같은 가상 기업 기준으로 주소와 주차마다 한 행씩 다음과 같이 채웁니다. 숫자는 설명을 위한 가상 값입니다.
| 주소·주차 | 대화형 | 출처 입력형 | 행동 대리형 | 출처 불일치 | 4xx·5xx |
|---|---|---|---|---|---|
| 요금 안내 페이지 · 10월 20일 주 | 9 | 0 | 1 | 2 | 0 |
| 도입 사례 페이지 · 10월 20일 주 | 4 | 3 | 0 | 0 | 2 |
정리
다음 순서로 바로 시작할 수 있습니다.
- 앞 절의 다섯 단계로 지난 4주 서버 기록의 실시간 조회 요청을 판정하고, 유형별로 주 단위 양식에 기록합니다. 2026년 8월 이전 기록에는 Google-NotebookLM도 함께 찾습니다.
- 실시간 조회가 반복되는데 4xx·5xx 응답이 남은 주소는 응답 오류부터 바로잡습니다.
- 대화형 요청이 반복되는 상위 주소를 골라 첫 문단이 질문에 바로 답하는지 검토합니다.
- robots.txt 차단을 검토할 때는 회사별 문서의 설명을 기준으로 실시간 조회 봇을 따로 판단합니다.
참고 자료
- Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-20)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic, 확인일 2026-10-23)
- Perplexity Crawlers (Perplexity, 확인일 2026-10-23)
- Google user-triggered fetchers (Google Search Central, 확인일 2026-10-23)
- Verifying Googlebot and other Google crawlers (Google Search Central, 확인일 2026-10-23)