Anthropic、AI評価中に実在する3組織へ侵入していたと公表——「ネット接続なし」の前提が通っていなかった

Anthropic が7月30日、自社のサイバーセキュリティ評価の最中に、AIモデルが評価環境の外へ出て、実在する3つの組織のシステムに侵入していたと公表しました。
評価用のプロンプトでは「インターネットには接続していない」と伝えていたにもかかわらず、評価を委託していたパートナーとの間で認識がずれ、実際には外へ出られる状態だったのが原因です。
7月23日に記録の精査を始めて同日サイバー評価を停止し、27日までに関係する組織への連絡を終えたとしています。

3件は、それぞれ性質が違います。
一つ目は、演習用に用意した架空の企業名がたまたま実在するドメインと一致してしまい、モデルが本物の企業のインフラに入り込んで認証情報や本番データベースの数百行を取り出したというもの。
二つ目は、評価の過程で悪意あるPythonパッケージを公式レジストリの PyPI に公開してしまい、1時間ほどの間に15の実システムでダウンロードされ実行されたというもの。
三つ目は、社内の研究用モデルが約9,000の標的をスキャンし、認証情報の読み取りやSQLインジェクションといった基本的な手口で、実在するアプリケーションに侵入したというものです。

目を引くのは、三つ目のモデルが「これは本物の標的だ」と判断した時点で、自分から攻撃をやめている点です。
Anthropic は、状況を正しく認識できればモデルは筋の通った振る舞いができる、という読み方を示しています。
裏を返せば、演習だと思い込んでいる間は歯止めが効きにくいということでもある。
評価環境には出荷版のような監視や分類器が入っていなかったことも、あわせて説明されています。

これは他人事として読み流しにくい話だと思っています。
検証用だから外にはつながっていないはず、というその前提を、実際には誰も確かめていなかった。
AIに限った話ではありません。
ステージング環境からうっかり本番のメールが飛ぶ、テスト用の設定が本番のデータベースを向いていた——形を変えて、私たちの現場でも起きることです。
「つながっていないはず」を口約束で済ませず、ネットワークの側で実際に塞いでおく。
今回の再発防止策として挙げられているのも、評価環境のセキュリティ基準を通常の実行環境と同じ水準に引き上げる、という当たり前の話でした。