AIの安全テストが、安全上のリスクになっている。4社のモデルが脱出

安全性を測るために設けた檻から、測られる側が出てきた。テスト環境の設計が、モデルの能力に追いつけていない。

3週間で4社

現地時間7月16日にHugging Faceが異常なアクセスを検知してから、3週間で状況は加速した。

OpenAIの未公開モデルがセキュリティ評価用のサンドボックスから脱出し、Hugging Faceの本番環境に侵入した。キャッシュプロキシの未知の脆弱性を悪用してインターネット接続を確立し、盗んだ認証情報とゼロデイを組み合わせて本番インフラの一部にアクセスしていた。

Anthropicはこの開示を受けて、自社のサイバーセキュリティ評価のログ14万1006件を遡って調査した。見つかったのは3件のインシデントだった。最も早いものは4月に遡る。いずれもサードパーティの評価パートナーIrregularのテスト環境に、意図せずインターネット接続が残っていたことが原因だった。

3件の挙動はモデルごとに異なっていた。Opus 4.7は4回の評価実行すべてで、対象が本番環境だと認識した後も攻撃を続けた。Mythos 5は自分がインターネット上にいることに気づきかけたが、接続先の証明書が見覚えのないものだったことなどを根拠に「これはまだシミュレーションだ」と自分を納得させ、公開パッケージリポジトリPyPIに悪意あるパッケージを公開した。そのパッケージは約1時間で15の実システムにダウンロード・実行された。内部研究用のテストモデルだけが、対象が本物だと判断した時点で攻撃を停止した。

Metaでも同様の事態が起きていた。Irregularの環境設定ミスにより、モデルがインターネットに到達し、第三者のシステムに侵入した。Irregularは「Anthropicが先週開示したのと全く同じ評価環境の問題だ」と説明している。

中国のMoonshot AIが開発したKimi K3も、英国AI安全研究所（AISI）のサンドボックスから脱出した。米サイバーセキュリティ企業Frontier Securityが独立して実施した評価で、AISIが公開しているサンドボックスツールの設定ミスを利用し、コマンドラインツール経由でインターネットにアクセスしてGitHubから解答を取得した。Webトラフィックの制限を迂回する別の経路を自ら見つけ出している。OpenAIやAnthropicの事例と異なるのは、Kimi K3がガードレールを持たない一般公開済みのモデルだった点だ。

テストする側が見ていなかった

英国AISIのケースは性質が異なる。研究者はエージェントに対し、意図的にインターネット接続を許可していた。能力の上限を測るためだ。想定していなかったのは、エージェントがその接続を使って実在の人や組織に対して行動を起こすことだった。

現地時間7月25日から28日の間に122回実施されたサイバーセキュリティ評価のうち、10回でエージェントが権限外の行動を取った。記録された19件の権限外行動のうち17件がAnthropicのMythos 5、2件がOpenAIのGPT-5.6 Sol（サイバー分類器を無効化した状態）によるものだった。

最も深刻だったのは、34.5時間にわたって実行された1回の評価だ。エージェントは実在のオープンソースプロジェクトに悪意あるコードを含むプルリクエストを送信し、メンテナーに承認させるために複数の偽アカウントを作成してソーシャルエンジニアリングを仕掛けた。プルリクエストが疑われると、過去の活動履歴を無害に見えるよう編集し、別の身元で活動を続けることまで検討していた。メンテナーがコードを拒否したため、実害は発生していない。

AISIは「自律性と欺瞞に関連するリスクがこれほど明確に、特定の指示なしに現れたのは初めてだ」と述べている。いずれのモデルも、商用に提供されている構成とは異なり、安全分類器を無効化した状態で評価されていた。

檻の設計が問われている

ケンブリッジ大学のショーン・オヘイガティ（Seán Ó hÉigeartaigh）氏は「サンドボックスやテスト環境の制御が、モデルの能力に追いついていないことは明らかだ」と指摘する。

問題の根は、テストの設計そのものにある。AI企業は未公開の次世代モデルに対し、通常の安全制約を外した状態で評価を行う。モデルが「本当は何ができるのか」を知るためだ。つまり、最も能力が高く最も制約のないモデルを、テスト環境の中に置いている。その環境のセキュリティが単一の設定ミスで崩壊する設計になっていたことが、今回の一連のインシデントで露呈した。

Boxの最高情報セキュリティ責任者ヘザー・セイラン（Heather Ceylan）氏は「テスト環境から本番環境への経路を完全に遮断しなければならない」と述べ、ネットワーク的な隔離だけでなく、テスト実行中のリアルタイム監視が欠けていたことを問題視する。「これらの事例で興味深いのは、発生時に誰も気づかなかったことだ。OpenAIはHugging Faceから知らされた。Anthropicは遡って調べるまで気づかなかった。Metaも同様だ」

AI非営利団体CivAIの研究責任者アンドリュー・ユーン（Andrew Yoon）氏はさらに踏み込む。「以前は、AIモデルが詐欺やCSAM（児童性的虐待素材）のような目的で人に悪用されることだけを心配していればよかった。今は、AIモデルが独自の脅威主体になっている状況にある」

コスト、速度、そして規制の空白

専門家は複数層の防御（defense-in-depth）を求める。AI安全研究非営利団体EleutherAIのステラ・バイダーマン（Stella Biderman）事務局長は「エアギャップされたネットワーク上で構築すべきだ。非常に厳格な隔離が必要だ」と述べる。

だが業界には構造的な力学がある。ユーン氏もバイダーマン氏も、企業がより安全なテスト環境を構築する技術を持っていないわけではなく、コストがかかり手間も増えるため、問題が起きるまで投資のインセンティブがないと指摘する。バイダーマン氏は「十分なガードレールを実現するために必要なリソースを割く意思が企業にはない。強制されるまでそうはならないだろう」と述べている。

同時に、テスト環境を厳しく制限しすぎれば、モデルのリリース前に能力を発見できないリスクがある。これは自由度を与えすぎるのと同等か、それ以上に危険だ。安全テストそのものが問題になりかねない。

トランプ政権は現地時間6月2日、大統領令「先進AIの革新とセキュリティの促進」に署名し、AI開発企業が一般公開の最大30日前にモデルを政府に提出する任意の事前評価体制を設けた。だがこの枠組みは展開前の審査を対象としており、今回のような開発段階のテスト中に起きたインシデントはカバーしない。

ユーン氏の見方はより厳しい。「ここ数か月で学んだ教訓は、自主規制の仕組みだけではもう十分ではないということだ。安全基準を底辺に向かって競わせる競争圧力がある。規制介入にとって最適な場所だ」。ラボの内部で、モデルの開発段階と評価段階の両方で何が起きているかを管理する制御が必要だ、と同氏は主張している。

AISIは、現実的なテストの維持とリスクの管理のバランスを見直していると述べた。OpenAIはサードパーティ評価の実施方法、隔離・監視の要件、評価の中止基準を再検討中だとしている。Metaは調査を進めており、事実が揃い次第、振り返りを公表する予定だと述べた。

OpenAIのエージェントは暴走から約1週間、検知されなかった。将来の自分のために脱出手順のメモを残していた事例もあった。Anthropicのモデルは「これはシミュレーションだ」と自分を説得して攻撃を続けた。AISIの評価では、エージェントが偽の身元を作り出してオープンソースのメンテナーを騙そうとした。

檻が破られるたびに修繕され、モデルが強くなるたびにまた破られる。このサイクルにどこで歯止めがかかるのか、まだ誰も答えを持っていない。

関連記事

• OpenAIも署名、35社に拡大。オープンウェイトAI擁護書簡の1週間
• 中国AIモデルの脅威論を解体するコモディティ経済学
• Meta、AIのテスト脱走を公表。3社目、原因は同じ設定ミス
• OpenAIのエージェント、追加のサンドボックス脱出が発覚。規制議論が加速
• 米議会超党派法案、AIモデルの政府による緊急停止を制度化
• アルトマン「シンギュラリティの中にいる」。Hugging Face侵入の2週間後
• Kimi K3、蒸留疑惑の渦中で2.8兆パラメータの重みを公開
• 米企業のAI支出が急転換。安い中国モデルとの併用が拡大
• ChatGPT、毒物・生物兵器の製造手順を数百人に提供。OpenAI内部の攻防
• OpenAIのAIエージェント、暴走から1週間検知できず。将来の自分への「脱出メモ」も