ボットクローリングを見る
どの AI ボットや検索ボットが、サイトをどれだけ、どんな目的で読んでいるかを確認する方法と、ボットの分類基準です。
分析 > ボットクローリング では、サイトを読んだボットをサービス別・分類別・名前別に確認します。ChatGPT などの AI が実際にサイトを読んでいるかを確認できます。
ボットの分類
Weekerp はリクエストを以下の分類に分けます。最初の3つをまとめて AI ボット と呼びます。
| 分類 | 意味 |
|---|---|
| AI検索・回答 | AI の回答や検索で引用するためにサイトをインデックスします。GEO の要です |
| AIリアルタイム取得 | 誰かが AI に質問し、その場でページを取得したリクエストです |
| AI学習収集 | モデル学習用の収集です。robots.txt で拒否できます |
| 検索エンジン | Google・Naver などの検索エンジンのインデックスボット |
| リンクプレビュー | KakaoTalk・Facebook でリンクを共有したときにプレビューを作るボット |
| 広告審査 | 広告のランディングページを審査するボット |
| ウェブマスターツール | 稼働監視・検証ツール |
| インフラ | フィード・プッシュなどの基盤サービス |
| SEO分析ツール | Ahrefs、Semrush など |
| 自動化ツール | python、curl など目的が分からないリクエスト |
| その他のクローラー | 目的が分かっているその他のボット |
| 人（ブラウザ） | ボットではない人のリクエスト |
| 未分類 | まだ分類されていないリクエスト |
AIサービス別のボットリクエスト
サービスタブ（GPT、Gemini、Claude、Perplexity、Meta AI、Copilot、その他）を選ぶと、その AI の検索・回答／リアルタイム取得／学習収集のリクエストと推移、その AI が使うボットの一覧が表示されます。Gemini には通常の Googlebot は含まれません。
ボットリクエストの推移・分類別のボットリクエスト
- ボットリクエストの推移: リクエストの多いプラットフォーム6つとそれ以外を日付別に表示します。上部のチップで、すべてのボット、すべての AI、または分類1つを選びます。
- 分類別のボットリクエスト: 分類ごとのリクエスト数です。行をクリックすると、上のグラフと下の表がその分類に絞り込まれます。
ボットランキング
ボット名（User-Agent）別のリクエスト数、HTMLの割合、4xx・5xx エラー数、最後のリクエスト時刻を表示します。
- 人のブラウザを含める: オンにすると人のリクエストも表示されます。
- 検索欄でボット名や UA から探します。
- 行をクリックすると User-Agentの原文 とそのボットが 取得したパス が表示されます。
- ファイル中心: ページよりも画像・ファイルを主に取得したボットです。
- 4xxが多い: 存在しないページを多くリクエストしたボットです。リンク切れや古い URL を確認してください。
AI ボットが表示されないとき
- robots.txt がそのボットをブロックしていないか確認します。robots.txt を管理する
- 期間を長くしてみます。小規模なサイトでは、AI ボットは数日に1回しか来ません。