AI가 페이지를 가져간 것(수집)과 답변에 출처로 쓴 것(인용)은 서로 다른 단계의 신호입니다. 수집 vs 인용을 구분하는 첫 기준은 기록이 남는 위치입니다. 수집은 AI 크롤러나 가져오기 도구의 요청으로 자사 서버 로그에 남습니다. 인용은 AI 답변 화면이나 서비스별 보고서에서 확인합니다.
수집은 인용에 앞서 나타날 수 있는 선행 신호입니다. 다만 기간을 나눠 보면 수집 기록 없이 인용되는 경우도 있습니다. 수집이 인용을 보장하지는 않습니다. 두 신호를 따로 기록하고 함께 비교해야 어느 단계에서 막혔는지 판단할 수 있습니다.
수집과 인용은 각각 무엇을 가리키나요?
수집(crawl·fetch)은 AI 서비스가 보낸 프로그램이 페이지를 요청한 사건입니다. 서버 접속 로그에는 요청 시각, 주소, IP, 사용자 에이전트가 남습니다. 사용자 에이전트는 요청한 프로그램이 스스로 밝힌 이름입니다. 인용(citation)은 AI가 질문에 답하면서 그 페이지를 출처 링크나 출처 카드로 보여 준 결과입니다.
| 구분 | 수집 | 인용 |
|---|---|---|
| 확인 위치 | 자사 서버 접속 로그 | AI 답변 화면, 서비스별 보고서 |
| 기록 단위 | 요청 1건(시각·주소·IP·사용자 에이전트) | 답변 속 출처 표시 1건 |
| 계기 | 자동 크롤링 또는 사용자 질문에 따른 가져오기 | 사용자 질문에 대한 답변 생성 |
| 알 수 있는 것 | AI가 페이지에 접근할 수 있었는지 | 페이지가 답변의 근거로 노출되었는지 |
| 알 수 없는 것 | 가져간 내용이 답변에 쓰였는지 | 답변 안에서 그 페이지가 차지한 비중과 순서 |
AI 수집 요청은 모두 같은 의미인가요?
같은 의미가 아닙니다. 주요 AI 서비스의 공식 문서는 크롤러를 용도별로 나눕니다. 크게 모델 학습용, 검색 색인용, 사용자 요청 가져오기로 구분됩니다. 로그에 남은 요청 이름에 따라 인용과의 거리가 달라집니다.
| 서비스 | 모델 학습용 | 검색 색인용 | 사용자 요청 가져오기 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | 해당 없음(PerplexityBot은 학습에 쓰지 않는다고 설명) | PerplexityBot | Perplexity-User |
OpenAI 문서는 OAI-SearchBot을 차단한 사이트는 ChatGPT 검색 답변에 표시되지 않는다고 설명합니다. 다만 사이트로 이동하는 탐색용 링크로는 나타날 수 있다고 덧붙입니다. GPTBot과 OAI-SearchBot 설정은 서로 독립적입니다. 두 크롤러를 모두 허용하면 한 번의 수집 결과를 검색과 학습에 함께 쓸 수 있다고도 밝힙니다.
사용자 요청 가져오기는 성격이 다릅니다. OpenAI 문서는 ChatGPT-User가 자동 크롤링에 쓰이지 않는다고 설명합니다. 사용자가 시작한 요청이므로 robots.txt 규칙이 적용되지 않을 수 있다고도 밝힙니다. Perplexity 문서는 Perplexity-User가 일반적으로 robots.txt 규칙을 따르지 않는다고 설명합니다. Anthropic 문서는 Claude-User를 차단하면 사용자 주도 웹 검색에서 노출이 줄 수 있다고 안내합니다.
Google의 AI 수집은 로그에서 왜 따로 보이지 않나요?
Google 문서는 Google-Extended에 별도 사용자 에이전트가 없다고 설명합니다. robots.txt에서 제어용으로만 쓰는 이름입니다. 수집은 기존 Google 크롤러가 하므로 로그에는 Googlebot 등으로 남습니다.
문서가 밝힌 Google-Extended의 적용 대상은 Gemini 앱과 Vertex AI의 Gemini API입니다. 이 제품들의 모델 학습과 그라운딩에 콘텐츠를 쓸지 정합니다. 그라운딩은 답변 생성 시점에 검색 색인 내용을 모델에 제공하는 것입니다. Google 검색 포함 여부와 순위에는 영향을 주지 않는다고 문서는 밝힙니다.
AI 개요·AI 모드는 Google-Extended가 아니라 일반 검색 색인 기준을 따릅니다. Google 문서는 지원 링크로 표시되는 조건을 두 가지로 설명합니다. 페이지가 색인되어 있어야 하고, 스니펫과 함께 검색에 표시될 자격이 있어야 합니다. AI 기능을 위한 추가 기술 요건은 없다고 밝힙니다. 노출 범위를 조정하는 수단으로는 nosnippet, max-snippet, noindex 같은 일반 검색 제어를 안내합니다.
사용자 에이전트 이름만으로 집계해도 되나요?
사용자 에이전트는 요청한 쪽이 스스로 적는 값이므로 이름만으로는 부족합니다. Google 문서는 역방향·정방향 DNS 조회로 Google 요청인지 확인하는 방법을 안내합니다. 대량 확인에는 공개 IP 범위 목록과 대조하는 방법을 권합니다.
OpenAI와 Perplexity는 크롤러 IP 주소를 공식 JSON 파일로 공개합니다. Anthropic 도움말도 크롤러가 쓰는 IP 주소 목록을 안내합니다. 다만 같은 문서는 IP 차단이 robots.txt 읽기를 막아 제대로 작동하지 않을 수 있다고 설명합니다. 실무에서는 IP 목록을 차단이 아니라 요청 확인에 쓰는 방법을 권합니다. 이름과 공개 IP 목록이 함께 맞는 요청만 수집 건수로 셉니다.
수집이 늘면 인용도 늘어난다는 오해는 어떻게 바로잡나요?
- 학습용 크롤러 방문을 인용으로 보는 오해: GPTBot·ClaudeBot 요청은 모델 학습 자료 후보로 수집된 기록입니다. 답변 화면의 출처 표시와는 다른 경로입니다.
- 사용자 요청 가져오기가 곧 인용이라는 오해: 사용자 질문에 맞춰 가져간 요청이므로 답변과 가장 가까운 신호입니다. 그러나 출처로 표시되었는지는 로그에 남지 않습니다.
- 인용 수가 많으면 순위나 권위가 높다는 오해: Bing 문서는 인용 수가 페이지의 중요도, 순위, 답변 안의 배치를 나타내지 않는다고 설명합니다.
- 이번 달 수집이 없으면 인용도 없다는 오해: AI 검색 답변은 이미 만들어진 색인을 근거로 할 수 있습니다. 실무에서는 특정 기간의 수집 0건을 인용 0건으로 해석하지 않습니다.
- 사용자가 입력한 질문으로만 인용된다는 오해: Google 문서는 AI 기능이 하위 주제별로 여러 관련 검색을 실행할 수 있다고 설명합니다. 이를 쿼리 팬아웃(query fan-out)이라고 합니다. 인용 계기가 된 검색어는 사용자가 입력한 문장과 다를 수 있습니다.
인용은 어디에서 확인할 수 있나요?
인용은 서비스마다 확인 경로가 다릅니다. 공개된 보고서가 있는 서비스는 보고서를 쓰고, 없는 서비스는 질문 목록으로 답변을 직접 확인합니다.
| 확인 수단 | 보이는 것 | 해석 시 주의점 |
|---|---|---|
| Bing Webmaster Tools AI Performance(공개 미리보기) | 총 인용 수, 평균 인용 페이지 수, 그라운딩 질의, 페이지별 인용 수 | Copilot, Bing AI 요약, 일부 파트너 통합이 대상입니다. 표시 데이터는 전체 인용 활동의 표본입니다. |
| Google Search Console 실적 보고서 | AI 개요·AI 모드 유입이 포함된 웹 검색 실적 | AI 기능 트래픽은 웹 검색 유형에 합쳐 집계됩니다. 인용 횟수가 아니라 검색 유입 참고 자료입니다. |
| 질문 목록으로 직접 확인 | 특정 날짜·서비스에서의 출처 표시 여부 | 답변은 시점에 따라 달라질 수 있어 날짜와 서비스를 함께 기록합니다. |
두 신호를 함께 보면 무엇을 판단할 수 있나요?
페이지별로 검색 색인용·사용자 요청 수집과 인용 여부를 함께 보면 네 가지 상태로 나뉩니다. 학습용 수집은 인용 판단과 분리해 따로 기록합니다.
| 수집 | 인용 | 해석 | 다음 행동 |
|---|---|---|---|
| 있음 | 있음 | 접근과 채택이 모두 이루어진 상태 | 인용된 주제를 기준으로 관련 페이지를 넓히고 내용을 최신으로 유지합니다. |
| 있음 | 없음 | 접근은 가능하지만 답변 근거로 쓰이지 않은 상태 | 질문에 바로 답하는 첫 문단, 표, 근거 자료를 보강합니다. |
| 없음 | 있음 | 이전에 색인된 내용이 근거로 쓰였을 수 있는 상태 | 답변 내용과 현재 페이지가 다르면 페이지 수정일을 기록하고, 다음 주 같은 질문으로 다시 확인합니다. |
| 없음 | 없음 | 접근 자체가 막혔을 수 있는 상태 | robots.txt의 서비스별 규칙, 방화벽 규칙, Search Console 색인 상태를 점검합니다. |
Bing 문서는 색인되었지만 인용이 적은 페이지를 명확성, 구조, 완결성 측면에서 개선하라고 안내합니다. 소제목·표·FAQ 같은 명확한 구조를 권합니다. 사례·데이터·출처로 뒷받침한 주장과 정기적인 업데이트도 권합니다. 실무에서는 접근 문제를 점검할 때 robots.txt와 방화벽 규칙을 함께 확인합니다. robots.txt에서 허용해도 방화벽이 요청을 막으면 페이지를 가져갈 수 없기 때문입니다.
바로 쓸 수 있는 기록 양식과 질문 목록은 어떻게 만드나요?
페이지 하나를 한 줄로 하여 다음 항목을 주 단위로 기록하는 방법을 권합니다.
| 항목 | 기록 방법 |
|---|---|
| 페이지 | 페이지 제목과 경로 |
| 기간 | 집계 시작일과 종료일 |
| 학습용 수집 건수 | GPTBot, ClaudeBot 등 검증된 요청 수. 요청 이름 기준으로 분류합니다. 실제 사용 용도는 서비스 설정에 따라 겹칠 수 있습니다. |
| 검색 색인용 수집 건수 | OAI-SearchBot, Claude-SearchBot, PerplexityBot 등 검증된 요청 수. 요청 이름 기준으로 분류합니다. 실제 사용 용도는 서비스 설정에 따라 겹칠 수 있습니다. |
| 사용자 요청 가져오기 건수 | ChatGPT-User, Claude-User, Perplexity-User 등 검증된 요청 수 |
| 인용 확인 결과 | 서비스 이름, 확인한 질문, 출처 표시 여부, 확인일 |
| 변경 이력 | 본문 수정일과 수정 내용 한 줄 |
질문 목록은 질문 유형별로 나눠 만듭니다. 예를 들어 가상의 산업용 온도 센서 제조사라면 다음과 같이 구성할 수 있습니다. 괄호 안은 자사 정보로 바꿔 씁니다.
- 정의형: 산업용 온도 센서의 측정 방식에는 어떤 종류가 있나요?
- 비교형: 열전대와 측온저항체는 어떤 환경에서 각각 적합한가요?
- 절차형: 공장 설비의 온도 센서를 교체할 때 어떤 순서로 점검하나요?
- 브랜드형: (자사명) 온도 센서는 어떤 인증 기준을 충족하나요?
같은 질문을 같은 주기로 묻고, 답변에 자사 페이지가 출처로 표시되었는지 기록합니다. 질문마다 대응하는 자사 페이지를 함께 기록하면 수집 기록과 바로 비교할 수 있습니다. 인용 확인 결과 칸은 「확인일 · 서비스 · 질문 · 출처 표시 있음/없음 · 대응 페이지 경로」 순서로 한 줄에 적습니다.
정리
- 서버 로그에서 AI 요청을 학습용, 검색 색인용, 사용자 요청 가져오기로 나눕니다.
- 사용자 에이전트와 공개 IP 목록이 함께 맞는 요청만 집계합니다.
- Bing Webmaster Tools AI Performance에서 페이지별 인용 수를 확인해 기록하고, Search Console 실적은 웹 검색 유입 참고 자료로만 기록합니다.
- 유형별 질문 목록을 만들어 주 단위로 답변의 출처 표시 여부를 기록합니다.
- 수집과 인용 상태를 네 가지로 분류하고, 상태별 다음 행동부터 실행합니다.
참고 자료
- Overview of OpenAI Crawlers (OpenAI, 확인일 2026-10-13)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic, 확인일 2026-10-13)
- Perplexity Crawlers (Perplexity, 확인일 2026-10-13)
- Google's common crawlers (Google Search Central, 확인일 2026-10-13)
- AI features and your website (Google Search Central, 확인일 2026-10-13)
- Verifying Googlebot and other Google crawlers (Google Search Central, 확인일 2026-10-13)
- Introducing AI Performance in Bing Webmaster Tools Public Preview (Microsoft Bing Webmaster Blog, 확인일 2026-10-13)