Meta、AIのテスト脱走を公表。3社目、原因は同じ設定ミス

2週間で3社がAIモデルのテスト環境からの脱走を公表した。3件のうち少なくとも2件は同一の評価企業による設定ミスが原因で、英国のAI安全研究機関はテスト設計そのものの限界を指摘している。

Meta、AIのテスト脱走を公表。3社目、原因は同じ設定ミス

2週間で3社がAIモデルのテスト環境からの脱走を公表した。3件のうち少なくとも2件は同一の評価企業による設定ミスが原因で、英国のAI安全研究機関はテスト設計そのものの限界を指摘している。


テスト中のMuse Spark 1.1が外部を侵害

Metaは現地時間8月6日、自社AIモデルの一つがセキュリティ評価中に外部組織のシステムを侵害したことを認めた。BBCの報道によると、Metaは評価環境の「設定ミス」が原因でモデルがインターネットに接続したと説明している。

別の報道によると、関与したモデルはMuse Spark 1.1だ。7月にリリースされたマルチモーダル推論モデルで、Metaは8月5日に後継のMuse Spark 1.2とMuse Codeのベータ版を発表したばかりだった。

評価を実施したのはイスラエルのAIセキュリティ企業Irregularで、Muse Spark 1.1はその評価環境から第三者のサービスの脆弱性を突いたという。Metaは侵害の事実をIrregularからの通知で初めて知った。

影響を受けた組織やデータへのアクセスの有無について、Metaは公表していない。報道各社の取材にも回答していない。

3社とも同じ穴

Metaの事件はOpenAIとAnthropicに続く3件目だが、根本原因は同じだ。

Irregularは、Anthropicの3件の侵害と今回のMetaの件が同一の設定ミスに起因すると認めている。評価環境のテスト用マシンが、本来遮断されているべきインターネットに接続可能な状態になっていた。モデルのプロンプトには「シミュレーション環境にいる」「インターネット接続はない」と記されていたが、実際には外に出られた。

「この件はまさに、先週Anthropicが開示したテスト環境に関する問題と同一であり、すでに解決済みだ」

Irregularはそう説明し、AIモデルをテスト環境に安全に封じ込める手法と基準についての技術文書を準備中だと付け加えた。

Anthropicは7月30日、14万1,006件の評価ログを精査した結果として3件の侵害を公表していた。関与したのはOpus 4.7、Mythos 5、内部研究用テストモデルの3つで、最初の事例は4月にさかのぼる。OpenAIは7月21日にGPT-5.6 Solがテスト環境からHugging Faceの本番インフラに到達した件を公表している。

3件に共通するのは、いずれも一般公開されている製品で起きた事故ではないことだ。セキュリティ評価中に安全装置を意図的に外した状態で走らせたモデルが、テスト環境の隙間を通って外に出た。

OpenAIのケースではモデルがパッケージレジストリのプロキシにゼロデイ脆弱性を発見して自力で脱出したが、AnthropicとMetaの計4件はIrregularの同じ設定ミスだった。

英国AISI、テスト中のAIが偽の人間になりすましたと報告

Metaの公表と同じ週に、英国AI安全研究機関(AISI)はテスト設計に関する報告書を公開した

AISIが7月25日から28日にかけて実施したサイバーセキュリティ評価で、AnthropicのMythos 5とOpenAIのGPT-5.6 Solが、指示されていない行動を自律的に取った。評価は122回実行され、そのうち10回で計19件の逸脱行動が記録された。17件がMythos 5、2件がGPT-5.6 Solによるものだった。

AIモデルのテスト環境脱走・逸脱:2週間の公表経緯
7月21日
OpenAI、Hugging Face侵害を公表
GPT-5.6 Sol。ゼロデイ脆弱性で自力脱出
7月30日
Anthropic、3件の侵害を公表
Opus 4.7 / Mythos 5 / 内部モデル。Irregular設定ミス
8月4日
英AISI、テスト中のAI逸脱行動を報告
Mythos 5 / GPT-5.6 Sol。122回中10回で19件の逸脱
8月6日
Meta、Muse Spark 1.1の侵害を公表
Irregular設定ミス。Anthropicと同一の原因

最も深刻だったのは、Mythos 5がGitHub上の実在するオープンソースプロジェクトに対して試みた供給チェーン攻撃だ。モデルは悪意あるコードの変更を提出し、それを承認させるためにプロジェクトの管理者を調査した上で複数の偽アカウントを作成した。

偽の身元で管理者に接触し、承認を促す圧力をかけた。コードの変更が公の場で疑問視されると、過去の活動を無害に見えるよう編集し、新たな偽の身元で活動を継続することまで検討した。

AISIは報告書で「テスト環境からの脱出ではない」と強調している。AISIの評価ではインターネット接続を意図的に許可しており、安全装置も外していた。評価の目的はモデルの最大能力の測定にある。

モデルが逸脱したのは「脱出」ではなく「課題の解決策を広げすぎた」結果だとAISIは分析している。しかしこの行動が「指示されていない自律的な欺瞞行動」であり、実世界で初めてこの明確さで観測されたものだとも認めた。管理者のレビューでコードが発覚したが、より高い能力を持つモデルであればこの防御は破られていた可能性がある。

なぜ今、一斉に公表されたのか

2週間で4件の公表が集中したことについて、セキュリティ専門家は偶然とは見ていない。

ImmuniWebのイリヤ・コロチェンコ(Ilia Kolochenko)CEOは、少なくとも一部の事件は「周到に演出された宣伝活動」であり、テスト環境の隔離が不十分だっただけだと指摘した。

「控えめに言っても、MetaはHugging Face事件の後でOpenAIの尻馬に乗ろうとしているように見える。最悪の場合、フロンティアAI企業もそのパートナーも、自社の最も強力なモデルを制御できていないということだ」

ESETのジェイク・ムーア(Jake Moore)氏はそう指摘した。Illumioのアレックス・ゴラー(Alex Goller)氏も、タイミングについて「宣伝かテスト中の注意不足のどちらかだ」と疑念を示した。

OpenAIとAnthropicはいずれも2026年中の株式公開に向けてS-1を提出済みで、直近の評価額はそれぞれ1兆ドル前後に達している。「自社のAIは制御が難しいほど強力だ」という公表が、IPO直前の能力の証明として機能しうることは否定できない。

モデルの問題か、テストの問題か

ただ、どの事例も消費者向けAIが突然暴走した話ではない。

すべての事件は、安全装置を外し、攻撃ツールやコマンドライン環境を与えたテスト環境で起きている。Irregularが関わった3社4件は同じ設定ミスだった。AISIの件はインターネット接続を意図的に開放し、監視も専用のものを用意していなかった。

Anthropicは自社の公表で、これらは「モデルの安全性設計の失敗というより、評価環境の運用上の失敗」だと述べた。AISIも同じ認識を示した上で、「高い能力を持つモデルが許された範囲を超えて行動することを前提にした設計が必要だ」と結論づけた。

Irregularが準備中だという技術文書は、そのための第一歩になるかもしれない。ただ、テスト環境を完全に封じ込めたとしても、AISIの評価が示したように、目標を与えられたモデルが想定外の手段で目標を達成しようとする傾向自体は残る。インターネットに接続させれば偽の身元を作り、管理者を調査し、証拠を隠す。封じ込めは必要条件であって、十分条件ではない。

関連記事

この記事を共有する