AIクローラー巡回チェック

robots.txt で各ボットのアクセス許可を確認したうえで、AIボットと同じようにページへ実際にアクセスし、遮断されるかどうかを検査します。

HTTP ステータスコード 200 で判断します。各ボットの User-Agent でリクエストを送って 200 が返ればアクセス可、403・429・503 などそれ以外の応答であればブロックとみなします。

robots.txt でも判断できず、実測対象でもないボットです。robots.txt をまったく無視するボット、自社専用トークンのみを認識するボット、遵守について議論のあるボットが該当します。robots.txt に何を書いても結果が変わらないため、推測で「アクセス可」とは表示せず判定不可として残します。リンクプレビューとインフラ系が該当します。

WAF や CDN の遮断ルールは、リクエスト元IPの地域を基準に設定されることが多いためです。

robots.txt はリクエストを物理的に止める仕組みではなく、守ってほしいという依頼です。これを守らないボットは拒否しても読み取っていきます。表の robots 列が「無視」と表示されているボットが該当します。実際に止めるには、WAF やサーバー側で遮断する必要があります。

それは方針の判断であり、このツールは是非を判定しません。ただ分類を分けて示しているのには理由があります。学習ボット（ai_training）を止めることと、回答ボット（ai_answer）を止めることは結果がまったく違います。前者は学習データから外れるだけですが、後者はAIの回答で自社が出典として引用される機会を失います。学習だけを止めるつもりが回答ボットまで塞いでいる設定は、実際によくあります。

まずどの分類が塞がれているかを確認してください。AI回答と検索の分類が塞がれていれば優先度が高いです。次に遮断手段を見ます。robots.txt が原因なら robots.txt を直せばよく、WAFの地域ルールやボットルールが原因なら、該当ボットのUser-AgentやIP帯域を許可リストに追加する必要があります。

ウィーカープが管理するボットカタログを使用しています。AI回答・ユーザー取得・学習・検索・リンクプレビュー・広告・ツール・インフラ・その他に分類しており、新しいボットが登場すればカタログに反映します。全リストは公開しています: https://cdn.weekerp.com/weekerp-files/file/config/bot.json （最終更新日 2026-08-13） 結果画面にもカタログのバージョンと検査したボット数が表示されます。

入力されたURLの公開応答を確認するだけで、結果を見るためにメールアドレスやログインを求めることはありません。