Cloudflare、「兼用AIクローラ」を広告ページで既定ブロックへ——9/15 から検索と学習の分離を要求

Web を支えるインフラ大手の Cloudflare が、AIクローラへの新しい既定ルールを打ち出しました。
検索インデックス用と、AIの学習・エージェント用を兼ねる「兼用クローラ」を、広告を掲載するページでは既定でブロックするというものです。
9月15日から、新規サイトや無料プランのアカウントに順次適用されます（期限前のオプトアウトも可能）。

背景には、クロールと引き換えに得られる訪問の落差があります。
Google の検索クローラは14ページに1回ほど参照の訪問を返すのに対し、AI系のクローラは数千〜数万ページに1回という試算も示されました。
「読み取るだけ読み取って、人は戻ってこない」——発信側の不満が、制度設計に反映された形です。

私たち発信する側にとっては、「どのボットに、何を読ませるか」を選ぶ話が、いよいよ実務の論点になってきたということです。
検索には出したいが無断の学習は避けたい、という要望を、ボット単位で線引きできる時代に近づいている。
自社サイトがどのクローラを許可しているか、一度棚卸ししておく価値はあると思う。

コンテナでも、robots.txt や llms.txt といった「AI向けの案内書き」を管理画面から出力できます。
どこまで読ませ、どこから断るか——その設定を持っておくこと自体が、これからの守りになる。
9月の期限に向けて、AIクロールとの付き合い方を見直す一つのきっかけにしてほしい。