robots.txt を管理する
元のサイトを修正せずに、Weekerp で robots.txt を直接編集する方法です。検索エンジンと AI ボットに何を読んでよいかを決めます。
robots.txt は、検索エンジンや AI ボットにサイトのどこを読んでよいかを伝えるファイルです。サイトを Weekerp に接続すると、プラットフォームでは変更しにくい robots.txt を Weekerp ですぐに編集できます。
1. Weekerp での管理をオンにする
- サイドバーで サイト > 詳細設定 を開きます。サイトが複数ある場合は、上部の サイト で対象のサイトを選びます。
- robots.txt カード右上のトグルをオンにします。
編集欄が開き、現在の元サイトの robots.txt に Weekerp の行（ブログのサイトマップなど）を加えた内容が入っています。トグルをオンにしただけで保存しなければ、実際のサイトは変わりません。
ブログを接続していて Weekerp の行がすでに追加されている場合は、トグルは最初からオンになっています。
2. 編集して保存する
- 編集欄で内容を修正します。Weekerp が追加した行も修正・削除できます。
- 保存 を押します。
保存した内容がそのまま配信されます。実際のサイトには数分以内に反映されます。反映されたかどうかは https://your-domain/robots.txt を開いて確認します。
よく使う例
すべてのボットに全体を許可し、管理画面だけをブロックする：
User-agent: *
Disallow: /admin
特定の AI ボットだけをブロックする（例：GPTBot）：
User-agent: GPTBot
Disallow: /
サイト全体をブロックする行を入れた場合
User-agent: * の下に Disallow: / があると、編集欄の下に警告が表示され、保存時にもう一度確認されます。このまま保存すると、検索結果や AI の回答からサイトが外れます。/admin のように一部だけをブロックする行は対象外です。
Weekerp での管理をオフにする
トグルをオフにすると robots.txt 管理をオフにする ウィンドウが開きます。Turn off と入力して オフにする を押すと、元サイトの robots.txt をそのまま配信します。ブログのサイトマップ行も外れます。
知っておくこと
- 100KB まで保存できます。
- 設定はサイト（アドレス）ごとに別々に保存されます。
- AI ボットが実際にサイトを読んでいるかは 分析 > ボットクローリング で確認できます。