そのクローラ、来ていいと言いましたか——robots.txt という意思表示

アクセスログを眺めていて、見慣れない名前のクローラが並んでいるのに気づいたことはないでしょうか。
GPTBot、ClaudeBot、PerplexityBot。
数年前には無かった名前が、いまは毎日のように来ています。
歓迎すべきなのか止めるべきなのか、決めないまま置いてあるサイトは多いと思う。

私はこれを、良い悪いの話ではなく、意思表示をしているかどうかの話だと思っています。
robots.txt に何も書いていないサイトは、拒否しているのではなく、何も言っていない状態です。
何も言っていなければ、相手は自分の解釈で動く。
あとから結果に文句を言うのは、少し順序が違う気がします。

やっかいなのは、クローラの用途がひとつではないことです。
検索結果に出すために来るものと、モデルの学習データを集めに来るものと、利用者の質問にその場で答えるために読みに来るものがある。
同じ「AIのボット」でも、止めたいものと止めたくないものが混ざっているわけです。
名前ごとに分けて書けるのが robots.txt の良いところで、全部拒否か全部許可かの二択ではありません。

もうひとつ、llms.txt という書き方も広まってきました。
こちらは拒否のためのものではなく、うちのサイトの要点はここです、と案内するための地図に近い。
標準というより提案の段階ですが、読ませたい相手に道を示すという発想は、拒否の設定とはまったく別の話です。
止める線を引くことと、見てほしいものを差し出すことは、同時にやっていい。

コンテナでは、robots.txt と llms.txt を管理画面から編集できるようにしています。
サーバーにファイルを置きに行かなくても、どのクローラに何を許すかをその場で書き換えられる。
構造化データの設定と同じ画面にまとめてあるのは、どちらも「機械にどう読ませるか」という同じ話だからです。
書き換えたその場で結果を確認できると、判断を先送りしなくて済みます。

きのう、政府が生成AIの事業者向けに、学習データの収集方法を公開するよう求める指針を決めました。
説明する責任を事業者の側に置く動きで、方向としてはありがたい。
ただ、こちらが何も書いていなければ、相手がどれだけ丁寧でも判断の材料がありません。
まずは自分のサイトの robots.txt を開いて、いま何が書いてあるかを読んでみるところからだと思います。
くわしくはAIO構造化データ（JSON-LD／robots.txt／llms.txt）のページをご覧ください。