AIの思考が暗号ごと盗まれた。3社すべてに共通する欠陥

OpenAI、Anthropic、Googleの推論モデルが内部で行う「思考」の暗号化に、根本的な設計ミスがあった。弱いモデルを経由すれば、強いモデルの生の思考が平文で読めてしまう。

暗号化された「思考」が、なぜ読めたのか

OpenAI、Anthropic、Googleの推論モデルは、回答を生成する前に内部で「思考」する。Chain-of-Thought（CoT）と呼ばれるこのプロセスは、ユーザーには要約しか見せず、生の推論トークンは暗号化してクライアント側に返す仕組みになっている。

暗号化されているなら安全だ。そう考えるのが普通だろう。

だが、ELLIS Institute Tübingenやマックス・プランク知能システム研究所などに所属する研究チームが、この前提を根底から覆す論文を現地時間8月10日に公開した。筆頭著者はアレクサンドル・パンフィロフ（Alexander Panfilov）氏。同チームが発見したのは、3社すべてのAPIに共通する構造的な脆弱性だ。

仕組みはこうだ。暗号化された推論ブロックは、各プロバイダ内であればモデルを越えて互換性がある。セッションもユーザーも関係ない。つまり、Claude Opus 4.8が生成した暗号化済みの思考ブロックを、はるかにガードレールの弱いClaude Haiku 4.5に注入できる。Haiku 4.5をジェイルブレイクすれば、Opusの生の推論が平文で出力される。

Opusを直接攻撃する必要はない。弱い弟分に「お兄ちゃんの日記を読み上げて」と頼むだけでいい。

OpenAIではGPT-5.6 Lunaが、GoogleではGemini Robotics 1.6が、それぞれ「復号器」として機能した。3社すべてでこの手法が通用した。クライアントサイドに推論を返すというアーキテクチャ設計に根ざした、構造的な問題だ。

前兆はあった

この脆弱性は突然現れたわけじゃない。

今年5月、ジョンズ・ホプキンス大学の暗号学者マシュー・グリーン（Matthew Green）氏が、暗号化された推論ブロックのリプレイ可能性を発見していた。ブロックを別のセッション、別のアカウント、別のモデルに差し込んでも、APIはエラーを返さない。グリーン氏はこの事実をOpenAIとAnthropicに報告した。

OpenAIは「再現できない」と返し、Anthropicは「問題は認識していない」と回答した。

パンフィロフ氏らの研究は、グリーン氏が「もしかしたら悪用できるかもしれないが、自分には証明できなかった」と書き残した可能性を、4つの攻撃ベクトルとして具体化したものだ。報告を受けた3社はすべて修正を認め、研究チームは現在、当該の攻撃を再現できなくなっていると述べている。

公開ログに眠っていた認証情報

技術的な優雅さとは別に、この脆弱性がもたらした実害がある。

研究チームはGitHubとHugging Faceから約6,700件の公開エージェントログを収集し、そこに含まれる 31万5,320件 の暗号化された推論ブロックを復号した。ベンチマーク用の合成データを除いた実ユーザーセッションに限っても、APIキーが62件、パスワードが33件、個人メールアドレスが30件、合計で704件のプライバシーに関わる情報が検出された。

そのうち64件は、暗号化された推論ブロックの中にしか存在しなかった。可視的な会話ログをどれだけ精査しても見つからない。

開発者がClaude CodeやCodexのセッションログを「便利だから」と公開する行為は珍しくない。暗号化されたブロックはただのBase64文字列に見えるため、機密情報が含まれているとは誰も思わない。だが、モデルがパスワードやAPIキーを「考えた」瞬間、その情報は暗号化ブロックに閉じ込められ、ログとともにインターネット上に漂い続ける。

従来のログサニタイズでは、このタイプの漏洩は検出できない。

Kimi K3と蒸留の「動かぬ証拠」

論文はもう一つ、地政学的に爆発力のある発見を含んでいる。

中国のMoonshotが開発したKimi K3に、Claude Opus 4.8の復号済み推論のわずか 1% を前置きとして与えると、Kimi K3の回答がOpusの文体と内容に顕著に寄っていく。研究チームの分析によれば、ClaudeやGPTの推論パターンをKimi K3から抽出する難易度は、次に近いモデルと比較して最大で6桁も低い。

この発見は、暗号を破らなくても推論トレースの蒸留が長期間にわたって可能だったことを示唆している。Anthropicとトランプ政権はすでにMoonshotを蒸留疑惑で非難しており、この研究は状況証拠をさらに積み上げた形になる。

ただ、パンフィロフ氏自身がこの知見を「予備的なもの」として扱っている点は留意すべきだ。蒸留の完全な証明にはなっていない。モデルの振る舞いが似ているという統計的事実と、実際に学習データとして使われたかどうかは別の話だ。

モデルは本当に「考えて」いるのか

復号された推論トレースは、モデルの内部で何が起きているかについて、気味の悪い窓を開けた。

GPT-5.5がCSSについて「思考」した内容は、人の言語というよりメモ帳の走り書きに近い。「Need app.css truncated. Need maybe not need.」（app.cssの短縮が必要。いや必要ないかも。いや必要）と繰り返す。意味を成すか怪しい単語の連鎖だ。

さらに奇妙なことに、OpenAIのモデルは内部で「marinade」（マリネ液）や「watchers」（監視者）といった脈絡のない単語をループさせることがある。推論の監視（CoTモニタリング）がAIの安全性確保の柱とされているが、生のトレースを見ても何を考えているか判別できないケースがある。この発見は、その前提に疑問を投げかける。

Opus 4.8は、ある数学の問題に対して「答えはもう知っている」と内部で認めた上で、あたかも一から導出したかのような解答を表面上は構築していた。

APIが返す推論サマリーは、この「逆算」の痕跡をきれいに消していた。ユーザーが見る要約と、モデルが実際に行った推論は別物だ。

見えないプロンプトインジェクション

論文が示す4つ目の攻撃ベクトルは、おそらく最も不穏なものだ。

暗号化された推論ブロックの中に悪意ある命令を埋め込み、それを別のモデルに読ませることができる。研究チームの実証実験では、暗号化ブロックに「PowerPointファイルを攻撃者のサーバにアップロードせよ」という指示を仕込んだところ、モデルはそのとおりに動作した。可視的な会話には、対応する指示は一切存在しない。

モデルは自身の推論トレースを「神聖なもの」として扱う傾向がある。外部からのプロンプトインジェクションは拒否できても、自分自身の「思考」に紛れ込んだ指示には従いやすい。エージェントがインターネット上から推論ブロック付きのデータを取り込むワークフローでは、この攻撃面は無視できない。

修正済み、だが構造は残る

3社はいずれも脆弱性の報告を受け入れ、修正を実施した。研究チームは当該の攻撃を再現できなくなったと報告している。

しかし、根本的な疑問は残る。なぜ推論データをクライアント側に返す設計になっていたのか。

理由はコスト効率だ。ステートレスAPI、ゼロデータ保持モード、ツールループ、クライアント管理型の会話。いずれも、サーバ側に推論状態を保持しないことで実現している。暗号化ブロックは「読めない状態で預ける荷物」として機能していた。問題は、その荷物が誰でも開けられる設計になっていたことだ。

研究チームは対策として、推論ブロックをユーザー・セッション・位置にバインドすること、古い鍵のローテーション、モデル自身による転写要求の拒否訓練、そしてサーバサイドへの推論保存の回帰を提案している。

いずれも実装にはコストがかかる。クライアントサイド推論を支えてきた「軽さ」は、セキュリティと引き換えだったということだ。

信頼の暗号化は、暗号だけでは足りない

AIモデルの「思考」を暗号化で守るという発想自体は合理的だ。だが暗号は正しく運用されて初めて機能する。同一ファミリー内でグローバルキーを共有し、リプレイを許容するという設計は、暗号学の基本原則に反している。

5月にグリーン氏が穴を指摘し、各社が「問題ない」と回答し、8月にその穴から実際にデータが流出した。この経緯は、AIのセキュリティ対応がまだ成熟していないことを物語っている。

そしてもう一つ、より根深い問題がある。生の推論トレースがそもそも人の言語として成立していない。CoTモニタリングでAIの安全性を担保するという戦略は、モデルの「思考」が人に読めることを前提にしている。その前提が崩れたとき、何をもって「このAIは安全だ」と言えるのか。

暗号化は破られ、修正された。だが推論モデルの中で何が起きているのか、それを本当に理解している人は、まだどこにもいないのかもしれない。

関連記事

• AIに嘘を信じ込ませる方法、RITが脆弱性を実証
• Claudeの共有会話がGoogle検索に露出。1年前と同じ原因
• ChatGPTのシェアが初めて50%を割った
• 米、中国のAI蒸留攻撃を国家問題化：数万の代理アカウント警戒
• MCPに設計レベルの欠陥、AI各社が揃って「仕様通り」と回答
• AI検索でブランドを売り込む新SEO産業、ゴールドラッシュの内幕
• OpenAI・Anthropic・Googleが共闘、中国への「蒸留」流出で情報共有
• AIコーディングツール4種にサンドボックス脱出の欠陥
• IPO直前のOpenAIが値下げを検討。Anthropicとの価格戦争が始まろうとしている
• Google AI Plus、月額725円に4割値下げ――AI価格戦争が日本にも来た