llms.txtは効果ある？AIボット68,759件の実測結果

llms.txtに効果はある？ AIボット68,759件を4週間分析して分かったこと

前回の記事では、「推測ではなく、実際の計測データで答える」と書きました。今回は約1カ月間にわたって計測した結果を公開します。

昨年6月、Weekerpではこちらの記事で、llms.txtに本当に効果があるのかを確かめるため、3つの疑問を挙げました。

1. AIボットは実際にllms.txtを読みに来るのか？
2. llms.txtを導入すると、AI経由のトラフィックや引用に変化はあるのか？
3. llms.txtに記載したページは、AIボットにより頻繁にクロールされるのか？

2つのWebサイトで確認したAIボットのリクエストは68,759件。そのうちllms.txtへのリクエストは0件でした。

どのように計測したのか

今回の調査では、Weekerp GEO Analyticsを使ってAIボットのアクセス状況を計測しました。

一般的なWeb解析ツールでは、ユーザーがWebサイトにアクセスし、ブラウザ上で解析スクリプトが実行されて初めて訪問が記録されます。一方、GPTBotやClaudeBotのようなAIクローラーは、人間と同じようにブラウザでページを開いて解析スクリプトを実行するわけではありません。そのため、一般的なアクセス解析だけでは「AIが実際にページを取得したのか」を確認するのが難しくなります。

Weekerp GEO Analyticsでは、AIボットがWebサイトへ実際に送ったリクエストを確認できるため、「AIがおそらくこのページを読んだ」と推測するのではなく、

• どのAIボットが

• いつ

• どのページに

• 何回アクセスしたのか

を実際のアクセスデータから確認できます。

GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-User、PerplexityBotなど、AIボットごとのクロール状況だけでなく、個別のリクエストログも確認しました。

今回の調査では、これらのデータから /llms.txt、/robots.txt、/sitemap.xml などへのアクセスを抽出し、それぞれ比較しています。

要点

• 2つの運用中Webサイトで約1カ月間、68,759件のAIボットリクエストを計測しましたが、/llms.txtへのリクエストは0件でした。

• 同じ期間にrobots.txtは1,938件、sitemap.xmlとsitemap.rssは合計1,224件取得されており、AIボットがサイト内の補助ファイル自体を読まないわけではありません。

• GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Applebotなど、主要なボットはいずれもllms.txtへアクセスしていませんでした。

• llms.txtを実際に取得していたのは、主にChrome Lighthouse、Semrush、BuiltWithなどのWebサイト分析・SEO診断ツールでした。

• 今回のデータを見る限り、AI検索やGEOのためにllms.txtを個別に作成・管理する優先度は低いと考えています。

• CMSなどが自動生成しているのであれば削除する必要はありませんが、追加の開発や運用コストをかけてまで作成する価値は確認できませんでした。

計測対象

実際に運用されている2つのWebサイトを対象にしました。

 

GPTBot、OAI-SearchBot、ChatGPT-Userなど主要なAI・検索クローラーを含め、合計82種類のボットを対象に計測しています。対象となるボットの一覧はWeekerpで管理しているBotリストから確認できます。

ボットを装ったトラフィックは除外しました

ボットの判別にはUser-Agentを使用していますが、User-Agentの文字列は第三者が自由に偽装できます。

そのため今回の計測では、User-Agentだけで判断せず、リクエスト元ネットワークのASNと、そのネットワークを所有する組織情報も照合しました。

つまり、今回使用している数値はUser-Agentだけを基準に集計したものではなく、ネットワークの送信元まで検証した上で集計したデータです。

質問1. AIはllms.txtを読むのか？

68,759件中、0件

今回の計測では、AIボットがllms.txtを取得したケースを1件も確認できませんでした。

計測期間中に記録されたAIボットのリクエストは合計68,759件でしたが、そのうち/llms.txtへのアクセスは0件。GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Applebotのいずれにもアクセス履歴はありませんでした。

Aサイトでは計測開始時点から/llms.txtを正常に公開しており、HTTP 200で応答していました。それでもAIボットからのリクエストはありませんでした。

質問2. 残りの2つの疑問はどうなったのか？

もともと確認したかった残りの疑問は、次の2つでした。

1. llms.txtを導入すると、AI経由のトラフィックや引用は増えるのか？
2. AIボットはllms.txtに記載されたURLをより頻繁にクロールするのか？

ところが、前提となる部分で結果が出ました。

そもそもファイル自体が一度も取得されていないのであれば、llms.txtによってAIのクロール動作が変わったとは考えにくくなります。

仮にllms.txtに記載したURLへのアクセスが増えていたとしても、その増加をllms.txtによるものだと判断できる根拠がありません。

AIボットは、そもそもこうしたファイルを読まないのでは？

llms.txtへのアクセスが0件だったため、もう一つ疑問が浮かびました。

AIボットは、そもそもSEO関連の補助ファイルをあまり確認しないのではないか？

そこで同じ期間の/sitemap.xmlと/robots.txtへのアクセスも確認しました。

結果は大きく異なりました。

robots.txtとsitemap.xmlは読まれていました

 

 

つまり、AIボットがこうしたファイルを一切読まないわけではありません。

robots.txtやsitemapは取得している一方で、llms.txtにはアクセスしていませんでした。

今回の調査で重要なのはこの違いです。AIクローラーはサイト内の補助ファイルを確認しているものの、今回のデータではllms.txtだけが一度も取得されていません。

ボットによって参照するファイルも異なりました

 

 

sitemapについても、ボットごとにかなり違いが見られました。

ClaudeBotは2つのサイトでsitemap.xmlを156回、sitemap.rssを158回取得しており、GPTBotもそれぞれ17回アクセスしています。

RSSのsitemapまで取得しているボットでも、llms.txtには一度もアクセスしていませんでした。

一方、ApplebotとPerplexityBotは今回の計測期間中にsitemapへ一度もアクセスしていないものの、robots.txtについてはそれぞれ317回、20回取得しています。

つまり、AIボットはすべて同じ方法でWebサイトを巡回しているわけではなく、サービスごとに参照するファイルやクロール方法が異なることも確認できました。

 

 

それでもllms.txtには61件のアクセスがありました

ここで少し興味深い結果が出ました。

AIボットからの/llms.txtへのアクセスは0件でしたが、Aサイトでは4週間で61件のリクエストが記録されています。

誰がアクセスしていたのか確認したところ、その多くはSEOやWebサイト診断ツールでした。

 

 

つまり、llms.txtを探しに来ていたのはAIボットではなく、Webサイト診断ツールでした。

さらに興味深いのがBサイトです。

Bサイトにはもともとllms.txtが存在しないため、/llms.txtへのアクセスには404を返します。それでも同じようなWebサイト分析ツールが、ファイルが存在するかどうかを確認するためにアクセスしていました。

今回のデータでは、llms.txtが存在するかどうかに関係なくAIボットはアクセスせず、Webサイト分析ツールは確認しに来ていたという結果になりました。

現時点での結論

前回の記事を書いた時点では、llms.txtについて次のように考えていました。

「効果はまだ分からないが、導入コストが低いので作っておいてもよい」

しかし、約1カ月間にわたって実際のAIボットのアクセスを確認した結果、現在の見方は変わりました。

「一部のSEO診断ツールのチェック項目を満たす以上の価値は、今回の調査では確認できなかった」

今回確認したAIボットのリクエストは68,759件で、llms.txtへのアクセスは0件でした。

その一方でsitemap.xmlやrobots.txtは継続的に取得されており、llms.txtへ最も頻繁にアクセスしていたのはAIではなく、LighthouseをはじめとするWebサイト分析ツールでした。

そのため、現時点でのWeekerpの考えはシンプルです。

すでにllms.txtが存在する場合や自動生成されている場合は、わざわざ削除する必要はありません。ただしGEOのために追加の時間や運用コストをかけてllms.txtを作成する必要性は、現在のところ低いと考えています。

今後AIサービスがllms.txtを実際のページ発見やクロールに取り入れるようになれば、その変化はアクセスログにも現れるはずです。

そのときはあらためて計測し、結果を公開します。