봇 크롤링 보기
어떤 AI 봇과 검색 봇이 사이트를 얼마나, 어떤 목적으로 읽어 가는지 보는 방법과 봇 분류 기준이에요.
분석 > 봇 크롤링에서는 사이트를 읽어 간 봇을 서비스별 · 분류별 · 이름별로 봐요. ChatGPT 같은 AI가 우리 사이트를 실제로 읽는지 확인할 수 있어요.
봇 분류
위커프는 요청을 아래 분류로 나눠요. 앞의 세 가지를 합쳐 AI 봇이라고 불러요.
| 분류 | 뜻 |
|---|---|
| AI 검색 · 답변 | AI 답변과 검색에 인용하려고 사이트를 색인해요. GEO의 핵심이에요 |
| AI 실시간 조회 | 누군가 AI에 물어봐서 그 자리에서 페이지를 가져간 요청이에요 |
| AI 학습 수집 | 모델 학습용 수집이에요. robots.txt로 거부할 수 있어요 |
| 검색엔진 | 구글·네이버 같은 검색엔진 색인 봇 |
| 링크 미리보기 | 카카오톡·페이스북에 링크를 공유할 때 미리보기를 만드는 봇 |
| 광고 검수 | 광고 랜딩 페이지를 검수하는 봇 |
| 웹마스터 도구 | 가동 감시·검증 도구 |
| 인프라 | 피드·푸시 같은 기반 서비스 |
| SEO 분석 도구 | Ahrefs, Semrush 등 |
| 자동화 도구 | python, curl 등 목적을 알 수 없는 요청 |
| 기타 봇 | 목적이 알려진 그 밖의 봇 |
| 사용자(브라우저) | 봇이 아닌 사람의 요청 |
| 미분류 | 아직 분류되지 않은 요청 |
AI 서비스별 봇 요청
서비스 탭(GPT, Gemini, Claude, Perplexity, Meta AI, Copilot, 이외)을 고르면 그 AI의 검색·답변 / 실시간 조회 / 학습 수집 요청과 추이, 그 AI가 쓰는 봇 목록이 나와요. Gemini에는 일반 Googlebot이 들어가지 않아요.
봇 요청 추이 · 분류별 봇 요청
- 봇 요청 추이: 요청이 많은 플랫폼 6곳과 나머지를 날짜별로 보여 줘요. 위쪽 칩으로 전체 봇, 전체 AI, 분류 하나를 골라요.
- 분류별 봇 요청: 분류마다 요청 수예요. 줄을 누르면 위 차트와 아래 표가 그 분류로 좁혀져요.
봇 순위
봇 이름(User-Agent)별 요청 수, HTML 비중, 4xx·5xx 오류 수, 마지막 요청 시각을 보여 줘요.
- 사용자(브라우저) 포함: 켜면 사람 요청도 함께 보여요.
- 검색칸에서 봇 이름이나 UA로 찾아요.
- 줄을 누르면 User-Agent 원문과 그 봇이 가져간 경로가 나와요.
- 파일 위주: 페이지보다 이미지·파일을 주로 가져간 봇이에요.
- 4xx 많음: 없는 페이지를 많이 요청한 봇이에요. 깨진 링크나 오래된 주소를 확인해 보세요.
AI 봇이 안 보일 때
- robots.txt가 그 봇을 막고 있지 않은지 확인해요. robots.txt 관리하기
- 기간을 늘려 봐요. 작은 사이트는 AI 봇이 며칠에 한 번 와요.