Apple、「Applebot-Extended」のrobots.txt設定は検索順位に影響しないと明記——9月4日にドキュメント更新、AI学習の可否だけを制御

Appleが9月4日、クローラについての公式ドキュメント「About Applebot」を更新し、「Applebot-Extended に対するサイト側のルールは、Search のランキングでは考慮されない」と明記しました。
robots.txt で Applebot-Extended を拒否すると検索での扱いが悪くなるのではないか、という現場の懸念に対する回答にあたります。

Applebot-Extended は2024年に追加された二つ目のユーザーエージェントで、そもそもページを巡回しません。
実際にサイトを読みに来るのは従来どおり Applebot のほうで、Applebot-Extended は「Applebot が集めたデータを Apple の生成AIの学習に使ってよいか」を判定するための目印にあたります。
ドキュメントにも「Applebot-Extended はウェブページをクロールしない。Applebot-Extended を拒否しているページも検索結果に含まれることがある」と書かれています。

つまり robots.txt に Applebot-Extended への Disallow を書いた場合に止まるのは、Apple Intelligence をはじめとする生成AI機能の基盤モデルへの学習利用だけです。
Spotlight や Siri といった検索系の機能からは、これまでどおり見つけてもらえます。
逆に許可しておけば Apple 側のモデルの品質向上に使われる、という説明も同じページに載っています。

AIクローラを許可するか拒否するかは、順位への影響を心配して判断が止まりがちなところです。
今回のように提供元が明文化してくれると、学習に使わせたいかどうかという本来の論点だけで決められるようになります。
自社サイトの robots.txt を見直すときの材料にしてください。