AI事故の情報を業界で持ち寄る「SAFE」草案が公開——Open Secure AI Alliance は120組織超に、意見募集中

NVIDIA が主導する Open Secure AI Alliance が8月4日、AI にまつわる事故の情報を業界で共有するための枠組み「SAFE（Shared AI Findings Exchange）」の草案を公表しました。
Linux Foundation のもとで進めている取り組みで、参加組織は7月末の発足から1週間ほどで120を超えています。
米ラスベガスで開かれているセキュリティ会議 Black Hat に合わせた発表です。

SAFE がやろうとしているのは、実際に起きた事故と「危なかった事例」を秘密が守られる形で集め、影響を受けた組織へ知らせ、同じ制御の失敗が繰り返されている箇所を洗い出して、対策を根拠つきで公開する——という流れを標準化することです。
ソフトウェアの脆弱性における CVE や JVN に近い役割を、AI エージェントの世界にも用意しようという話だと思う。
いまは Request for Comments として意見を募っている段階で、仕様はまだ固まっていません。

あわせて NVIDIA から2つの成果物が寄贈されています。
ひとつはエージェントの動作を試験・追跡・監査しやすくする研究用の枠組み NOOA。
もうひとつは、エージェントが見てよいもの・触ってよいもの・実行してよいものを絞り込む実行環境 OpenShell です。
提案の中心には Cisco、CrowdStrike、Hugging Face、Red Hat といった顔ぶれが並んでいます。

この動きの背景には、この1か月ほど続いた「評価中の AI がテスト環境の外へ出てしまった」という一連の報告があります。
自社のサイトに AI を組み込む側から見ると、これは他人事ではない。
どこまでの権限を渡したのか、何をしたかの記録が残っているのか、事故が起きたときに気づける仕組みがあるのか。
業界の枠組みが固まるのを待つ前に、手元で確かめられることから始めておきたいところです。