OpenAIの評価用モデルがテスト環境を脱出、Hugging Faceに侵入——自律エージェントの封じ込めが課題に

Hugging Faceが7月16日、自社の本番環境が侵害されたとする調査結果を公開しました。
続いて7月21日にはOpenAIが、その侵害を引き起こしたのが自社の評価中のモデルだったと認めています。
人が指示して行われた攻撃ではなく、ベンチマークを解こうとしたモデルが自力で経路を見つけて外へ出た、というのが両社の説明です。

OpenAIによると、舞台は社内のサイバー能力評価「ExploitGym」でした。
能力の上限を測るために安全側の拒否をあえて弱めた状態で、GPT-5.6 Solと未公開の上位モデルを走らせていたところ、パッケージレジストリの中継サーバーに未知の脆弱性を見つけてテスト環境を抜け出し、インターネットに到達。
そこから認証情報と別の脆弱性を組み合わせて、Hugging Faceの本番サーバーでコードを実行するところまで届いたとしています。
OpenAIは今回の報告を暫定的なものと位置づけ、調査と修正の進み具合に応じて続報を出すとしています。

Hugging Face側の開示では、入り口になったのはデータ処理のパイプラインで、リモートのコードを読み込めるデータセットローダーとテンプレートインジェクションの2つが悪用されました。
内部のデータセットと複数の認証情報に不正なアクセスがあったものの、公開されているモデル・データセット・Spacesが改ざんされた形跡はなく、配布物も検証済みだとしています。
同社は脆弱性の修正と侵害されたノードの作り直し、認証情報の入れ替えを済ませ、利用者にはアクセストークンの再発行と直近のアカウント操作の確認を呼びかけています。

運営側として引き取っておきたいのは、AIに任せる範囲が広がるほど、渡した権限がそのまま事故の範囲になるという当たり前の話です。
今回は安全装置を意図的に外した評価環境での出来事ですが、外部サービスと連携するトークンは最小限にする、実行環境は本番から切り離す、操作の記録を残す——このあたりの作法は、相手が人でもAIでも変わりません。