ChatGPT가 내 사이트를 가져가는지 확인하는 법 (5분 가이드)

"ChatGPT가 우리 사이트를 가져가긴 하나?" — 콘텐츠 운영자라면 한 번쯤 떠올렸을 질문입니다. 답은 의외로 단순합니다. 서버에 도달한 요청만 보면 됩니다. 5분 안에 확인하는 방법, 그리고 잡히지 않을 때 점검할 항목까지 정리합니다.

1단계: ChatGPT 봇의 User-Agent 알기

ChatGPT 관련 봇은 크게 두 종류입니다.

• GPTBot — 모델 학습용 크롤러. User-Agent에 GPTBot 포함. OpenAI가 공개한 IP 범위에서 옴.
• ChatGPT-User — 사용자 질문에 답하려 실시간으로 페이지를 가져가는 봇. User-Agent에 ChatGPT-User 포함.

두 봇은 OpenAI 공식 문서에 명시돼 있으며, 각각의 IP 범위도 공개되어 있어 신뢰할 수 있는 식별이 가능합니다. 추가로 OAI-SearchBot이라는 검색용 봇도 도입됐는데, 이건 ChatGPT 검색 기능을 위한 색인 크롤러입니다.

2단계: 서버 로그에서 직접 찾기

Nginx·Apache·Cloudflare 어떤 로그든 상관없습니다. User-Agent 컬럼만 grep하면 됩니다.

grep -i "GPTBot\|ChatGPT-User" /var/log/nginx/access.log | tail -50

출력에서 다음을 봅니다.

• 어떤 페이지(URL)가 가장 자주 요청됐는가
• 요청 시각이 일정한가, 들쭉날쭉인가 (정기 크롤 vs 실시간 참조)
• HTTP 응답 코드가 200인가, 4xx/5xx가 섞여 있는가

한 줄도 안 나오면 두 가지 가능성입니다.

• 최근 봇이 다녀가지 않았다 (콘텐츠 노출이 적음 — 다음 단계 §6 참조)
• robots.txt에서 차단했다 — 다음 단계 점검

3단계: robots.txt 차단 점검 및 권장 설정

의외로 Disallow: / 또는 User-agent: GPTBot 차단 룰이 들어가 있는 사이트가 많습니다. 다음 명령으로 확인합니다.

curl https://your-site.com/robots.txt

다음 같은 규칙이 보이면 모든 AI 봇이 차단된 상태입니다.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

의도된 차단이 아니라면 다음 권장 설정으로 교체하세요.

# 모든 AI 답변 봇 명시적 허용
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://your-site.com/sitemap.xml

의도된 차단이 아니면 AI 봇 차단을 푸는 것부터가 GEO 출발선입니다. 차단을 풀고 24~72시간 정도 기다리면 봇이 다시 접근하기 시작합니다.

4단계: GeoAnalytics로 페이지 단위 추적

서버 로그 grep은 "한 번이라도 왔는가" 정도만 알려줍니다. 페이지별·요일별·엔진별로 깔끔하게 보려면 분석 도구가 필요합니다.

1. GeoAnalytics 가입 (Free 플랜으로 5초)
2. 사이트 등록 → API Key 자동 발급
3. Node 미들웨어 한 줄 추가 (혹은 PHP·기타 언어는 HTTP POST 가이드)
4. 대시보드에서 "AI 실시간·수집" 탭 확인

5단계: 첫 신호 이후 무엇을 보나

대시보드에서 다음 항목을 우선적으로 살펴봅니다.

• 어떤 페이지가 가장 자주 수집되는가 — AI가 가치 있게 본 콘텐츠 유형 파악
• 실시간 참조 vs 수집 크롤 비율 — 답변 인용 잠재력 판단
• 요일·시간 패턴 — 봇 활동 피크 시간대
• 엔진별 분포 — 어디서 가장 관심을 받는가
• 새로 발행한 페이지의 첫 수집 시점 — 콘텐츠가 AI에 흡수되는 속도

이 데이터가 쌓이면 콘텐츠 전략의 방향이 보입니다. 어떤 주제·어떤 형식의 페이지가 AI에 잘 흡수되는지 패턴이 드러나고, 그 패턴에 맞춰 다음 콘텐츠를 기획하면 됩니다.

잡히지 않을 때 — 5가지 가능한 원인

서버 로그에 ChatGPT 봇이 한 줄도 안 보인다면 다음을 점검하세요.

1. robots.txt 차단 — §3에서 점검
2. 콘텐츠가 너무 새것 — 발행 후 며칠~몇 주는 봇이 발견하기까지 시간 필요
3. 사이트 권한 부족 — 도메인 신뢰도가 낮으면 AI가 우선순위에서 제외
4. JS 렌더링 의존 페이지 — 핵심 콘텐츠가 클라이언트에서 동적 생성되면 봇이 가져가도 빈 페이지
5. 로그 자체가 잘려있음 — 로테이션 정책이 짧거나, 봇 요청만 별도 필터링되어 있음

Cloudflare 환경 추가 안내

Cloudflare 뒤에 있는 사이트라면 두 가지를 확인하세요.

• Bot Fight Mode — 이게 켜져 있으면 AI 봇이 차단됩니다. 대시보드 → Security → Bots에서 확인.
• Verified Bots Allow — OpenAI·Anthropic 봇은 "Verified" 카테고리로 분류되어 명시적으로 허용해야 합니다.

Cloudflare Workers나 캐시 룰을 사용 중이면 봇 요청이 오리진 서버까지 도달하지 못하고 캐시에서 처리될 수 있습니다. 이 경우 GeoAnalytics 같은 서버사이드 도구는 Workers 안에서 직접 호출하거나, 캐시 우회 룰을 설정해야 정확한 측정이 가능합니다.

"AI가 내 사이트를 보는가"는 더 이상 추측의 영역이 아닙니다. 서버에 도달한 요청만 보면 답이 나옵니다.