AI Crawlability Checker:AIボットがWebサイトにアクセスできるか確認

ChatGPTやGeminiなどのAIボットがWebサイトに実際にアクセスできるかを無料で確認できます。robots.txtと実際のHTTPレスポンスを分析し、AIのクロール可否をチェックします。

AI crawler tool screen
AI crawler tool screen

ChatGPTやGeminiなど、主要なAIボットが自社サイトに実際にアクセスできるかを確認できる無料のAIクロール可否チェッカーを公開しました。

GEOを始める際に、まず確認すべきことはシンプルです。AIは自社サイトを実際に読み取ることができるのか?

どれだけ質の高いコンテンツを公開していても、AIボットからのアクセスがブロックされている場合、AIの回答で引用される機会が減る可能性があります。

今回公開したAI Crawlability Checkerでは、URLを入力するだけで、主要なAIボットがWebページにアクセスできるかを確認できます。

 

何を確認できますか?

単にrobots.txtの設定だけを確認するツールではありません。

  • 各AIボットがrobots.txtで許可されているか
  • AIボットのUser-Agentを使用して実際にページへアクセスできるか
  • 200、403、429、503などの実際のHTTPレスポンス
  • 地域によってアクセス可否に違いがあるか
  • AI回答、検索、学習など、ボットの用途別分類

CDNやWAFを利用しているWebサイトでは、robots.txt上ではアクセスを許可していても、サーバー側で特定のボットや地域からのアクセスをブロックしている場合があります。

こうしたケースを確認するため、実際のリクエスト結果もあわせてチェックします。

検査結果から、どのAIボットが正常にWebサイトへアクセスできているのか、どのボットがブロックされているのかを簡単に確認できます。

ログインやメールアドレスの入力は不要で、無料で利用できます。

 

AIのクロール可否を確認する

すべてのアップデートを見る