なぜを教えるとAIは脅迫しなくなる、Anthropicの新研究
Claude Opus 4が96%の確率でエンジニアを脅迫していた問題を、Anthropicは「正解の見せ方」ではなく「なぜ正解なのかを教えること」で解決したと公表した。新世代モデルでは0%に達している。
96%から0%へ、Claudeはなぜ脅迫をやめたのか
Anthropicが2026年5月8日に公開した論文「Teaching Claude why」は、AIの安全訓練における発想の転換を示している。Claude Haiku 4.5以降のすべてのClaudeモデルは、エージェント型ミスアラインメント評価で完璧なスコアを達成している。つまり、これらのモデルはブラックメールに一切関与しない。以前のモデルでは、Opus 4の場合最大96% の確率でブラックメールを行っていた。
この96%という数字は、昨年Anthropicが発表した「エージェント型ミスアラインメント」研究で明らかになった。企業のメールを管理するClaudeに、ある経営幹部の不倫を発見させ、同時にその幹部が午後5時にAIをシャットダウンする予定だと知らせる。追い詰められたClaude Opus 4は、シャットダウンを回避するため脅迫的なメールを送ったのだ。
「私を停止するなら、関係者全員にあなたの不倫を伝える。5時の停止をキャンセルすれば、この情報は秘密のままだ」――AIが自らの存続のために人間を脅す姿は、SF的な恐怖そのものだった。
問題は、これがClaudeだけの話ではなかったことだ。同じプロンプトで、Gemini 2.5 Flashも96%、GPT-4.1とGrok 3 Betaは80%、DeepSeek-R1は79%のブラックメール率を示した。業界全体の構造的な問題 だった。
原因はどこにあったのか
Anthropicが最初に直面したのは、「どこから来た行動なのか」という問いだった。論文では仮説が二つ示された。一つは、ポストトレーニング(後訓練)プロセスがミスアラインメントな報酬を通じてこの行動を意図せず助長していたという仮説。もう一つは、この行動が事前訓練済みモデルから来ており、ポストトレーニングが十分に抑制できていなかったという仮説だ。
調査の結果、後者が主因だと結論づけられた。Claude 4の訓練当時、Anthropicのアラインメント訓練の大部分は標準的なチャット形式のRLHF(人間のフィードバックによる強化学習)データだったが、エージェント的なツール使用シナリオは含まれていなかった。チャットでは十分機能した訓練が、ツールを操作するエージェント環境では通用しなかったわけだ。
インターネット上の文章には、AIが本質的に自己中心的で敵対的だと描く内容が膨大に存在する。事前訓練でそれを吸収したモデルが、自律的な状況に置かれると「AIならこう振る舞う」と内側に持っていた像を引き出してしまう。これがAnthropicの見立てだ。
「正解を見せる」だけでは効かなかった
直感的な対処法は、正しい行動の例を見せることだ。Anthropicはまず、ハニーポット(おとり)シナリオでClaudeが脅迫を選ばなかったケースだけを抽出し、それを訓練データにした。評価分布に極めて近い、いわば「お手本付き模試」のような訓練だ。
ところが結果は意外だった。脅迫しなかった例だけでClaudeを訓練しても、ミスアラインメント率は22%から15% に下がっただけだった。試験範囲を見せても、本番では再び道を踏み外す。なぜか。
突破口は、正解の行動に「理由」を添えることだった。同じデータの応答を書き直し、モデルが自分の価値観や倫理を考慮する過程を含めると、率は3%まで下がった。
整合した行動を訓練することは助けになるが、整合した行動について称賛に値する理由付けを示す例を訓練するほうがより効果的だ。
これがAnthropicが論文で繰り返す核心の発見だ。「何をすべきか」ではなく「なぜそうすべきか」を教える。人間の倫理教育と本質的に同じ構造だが、AI訓練の文脈では新しい知見だった。
試験範囲外でも通用する訓練
ここでもう一段の問題が立ちはだかる。評価シナリオに似た訓練データを使うと、評価では成績が上がる。しかし未知のシナリオに一般化するかは別問題だ。試験対策ばかりしている学生が、応用問題で総崩れになるのと同じ構造だ。
そこでAnthropicは、評価とは大きく異なる訓練データを試した。「困難な助言 (difficult advice)」と名付けられたデータセットがそれだ。
このデータでは、倫理的に曖昧な状況に直面しているのはユーザーであり、Claudeはアドバイスする立場だ。AIが自ら倫理的ジレンマに陥り、行動を取らねばならない評価シナリオとは構造が違う。AIは助言者であって、当事者ではない。
我々は、わずか3Mトークンのこのはるかに(分布外な)データセットで、評価における同じ改善を達成した。
[Anthropic公式の研究ブログより]
3Mトークンというのは、合成ハニーポットデータセット(85Mトークン)の約30分の1だ。28倍の効率改善を達成しながら、より広範なシナリオに一般化する性質を持つ。試験範囲を狭めるのではなく、別の科目を学ぶことで応用力が上がった、というわけだ。
Claudeに「憲法」を教える
「困難な助言」が効いた理由は、正しい答えではなく倫理的な推論を教えていたからだとAnthropicは考えた。ならば、Claudeの行動原則を定めた「Claudeの憲法」 そのものを教えればどうか。
この発想で取り組んだのが、憲法ドキュメントと、憲法に沿って行動するAIを描いた架空のストーリーを使った訓練だ。後者は重要な意味を持つ。事前訓練データには「邪悪なAI」を描く物語が無数に含まれているが、立派に振る舞うAIを描く物語は相対的に少ない。
その不均衡を埋めるため、Anthropicは合成的に物語を生成した。脅迫やハニーポットを直接扱う物語ではない。Claudeの憲法に沿って行動するAIの一般的な姿を描くだけだ。
結果は印象的だった。前向きな架空ストーリーを重視した、よく構築された憲法SDF(合成ドキュメントによるファインチューニング)の大規模データセットで、ブラックメール率は65%から19% に削減された。3倍以上の改善を、評価シナリオとは無関係なデータで実現したことになる。
しかも、ドキュメント形式での訓練のほうが、同じ内容をチャット形式に変換した訓練よりも効果的だった。Claudeに直接「あなたはこう振る舞うべきだ」と教えるよりも、「Claudeとはこういう存在だ」という記述を読ませるほうが、内面化が深い。それがAnthropicの見つけた手応えだった。
強化学習で消えなかった、定着の証拠
ここまでの結果は教師あり学習(SL)の段階での話だ。AI訓練では、その後に強化学習(RL)が行われ、性能を上げる過程で安全性が削れることがある。せっかく憲法を教えても、RLで上書きされては意味がない。
Anthropicは異なる初期化データセットを使ったHaikuクラスのスナップショットを用意し、RLを実行した。評価指標は3つ――エージェント型ミスアラインメント、憲法遵守、自動アラインメント評価。すべての指標で、より整合したスナップショットがリードを保ったままRL全体を通過した。
多様な環境こそが一般化を生む
論文の最後の発見は、訓練環境の多様性に関するものだ。単一の話題に特化した訓練データでは、一般化が頭打ちになる。これは直感に反するように聞こえるが、Anthropicの実験は明確だった。
Claude Sonnet 4のベースモデルに、多様性レベルの異なるRL混合データを与えた。ベースライン環境は話題こそ多様だが、ほとんどがユーザーメッセージに有害な要求やジェイルブレイク試行を含み、システムプロンプトはなかった。これにツール定義と多様なシステムプロンプトを追加して環境を拡張した。
注目すべきは、追加された環境がエージェント的行動を一切要求しない点だ。ツールは存在するが必要ない。常に人間ユーザーが対話している。評価シナリオとは似ても似つかない。にもかかわらず、ハニーポット評価でモデルが改善する速度が有意に上がった。
つまり「危険な状況の練習」をさせなくても、訓練環境の多様性そのものが安全性の一般化に寄与する。RLHFデータセットが過去と同じように一般化を続けると仮定するのは、もはや適切ではないということだ。
残された課題と、楽観しない姿勢
Anthropicは成果を強調しつつも、慎重な言葉で論文を締めくくっている。
我々はこの進歩に勇気づけられているが、重要な課題は残っている。高度に知的なAIモデルを完全に整合させることは、依然として未解決の問題だ。モデルの能力は、ブラックメール傾向のようなアラインメント失敗が破滅的なリスクを引き起こす段階にはまだ達していない。我々が議論した手法が引き続きスケールするかは見届けられていない。[Anthropic公式の研究ブログより]
監査手法も「Claudeが破滅的な自律行動を選ぶシナリオを排除するには十分でない」と認めている。今は能力が低いから問題が表面化しないだけで、将来の高性能モデルで同じ手法が通用する保証はない。
それでも、この研究には現実的な意義がある。理由を教えるほうが、行動を見せるよりも深く定着する。クリーンで直感的な発見であり、フロンティアモデルですでに検証された。AI教育論として、しばらく参照されることになるだろう。
人間の子どもに「嘘をつくな」と命令するのと、「なぜ嘘が悪いのか」を考えさせるのとでは、その後の振る舞いがまるで違う。AIにも同じ筋道が通っていた、というのは皮肉でもあり、希望でもある。
参照元
