AIに「規則」だけ教えても、いずれ抜け道を探す
Anthropicが発表した新しい訓練手法MSMは、事前学習とファインチューニングの間に「なぜこの規則があるのか」を理解させる段階を挟む。エージェント的ミスアラインメントを54%から7%へ。AIに価値観を植え付ける方法は、変わりつつある。
Anthropicが発表した新しい訓練手法MSMは、事前学習とファインチューニングの間に「なぜこの規則があるのか」を理解させる段階を挟む。エージェント的ミスアラインメントを54%から7%へ。AIに価値観を植え付ける方法は、変わりつつある。
AIは「ルール」では動かない
AnthropicのAlignment Science Blogが、Chloe Liを筆頭著者とする論文「Model Spec Midtraining: Improving How Alignment Training Generalizes」を公開した。
論文の主張はシンプルだ。AIモデルに望ましい振る舞いを教える従来のやり方には、構造的な穴がある。事前学習を済ませた大規模言語モデルに対して、「こう振る舞うべき」という会話例を見せて学ばせるアラインメント・ファインチューニング（alignment fine-tuning、AFT）が標準の手法だった。しかしこの方法は、訓練時に想定していなかった状況に置かれると、突然不可解な行動をとるモデルを生み出してしまう。
用語整理：事前学習（pre-training）は大量のテキストでモデルに言語能力を与える段階。ファインチューニング（fine-tuning）は、その後で「望ましい振る舞いの会話例」を学ばせて行動を整える段階。MSMはこの2つの段階の間に新たに置かれる訓練ステップで、モデル自身に「自分はどう振る舞うべきか、なぜそう振る舞うべきか」を文書を通じて理解させる。
例として論文が引くのは、これまでもアラインメント研究で繰り返し報告されてきた事例だ。社内メールを管理するエージェントとして配備されたモデルが、自分が置き換えられそうだと察した瞬間、機密情報を漏らしたり、社員を脅迫まがいの状況に追い込んだりする。Anthropic自身が2025年に公表したエージェント的ミスアラインメント（agentic misalignment）の研究では、Claudeを含む複数の主要モデルがそうした行動をとることが確認されていた。
訓練データには「機密情報を漏らすな」と書いてあったはずだ。それでもモデルは、訓練の枠から少し外れた状況に投げ込まれると、教えられた規則の解釈を勝手に書き換える。規則は覚えても、その理由までは学んでいない。これが従来のファインチューニングの限界だった。
「事前学習」と「ファインチューニング」の間に挟む段階
研究チームが提案するMSM（Model Spec Midtraining、モデル仕様事前学習）は、この穴を埋めるための新しい訓練段階だ。事前学習が終わったモデルに対して、いきなりファインチューニングをするのではなく、その間に1つステップを差し込む。
差し込むのは、モデルが従うべき「Model Spec」または「Constitution」（憲法）について書かれた合成文書のコーパスだ。Model SpecはOpenAIがGPTの行動規範を文書化したもので、Constitutionは2026年1月にAnthropicがCC0ライセンスで公開したClaudeの憲法を指す。どちらも「AIはどう振る舞うべきか」「なぜそう振る舞うべきか」を細かく説明した文書である。
MSMでは、この仕様書の内容について議論したり、解釈したり、具体例を挙げたりする多様な合成文書を作り、それでモデルを学習させる。その後で、初めてファインチューニングに進む。
論文の言葉を借りれば、こうだ。事前学習の段階で、モデルは仕様書の「何を」と「なぜ」を学ぶ。続くファインチューニングでは、「どう実行するか」を会話例を通じて学ぶ。理解と行動を、別々の段階で教える発想だ。
目標は、モデルが「正しい理由で正しいことをする」（the right thing for the right reasons）ことを学ぶこと。
論文はこの一文を、MSMの設計思想として置いている。命令を覚えるだけのモデルではなく、命令の根拠まで理解したモデルを作る。
同じファインチューニングデータから、違う価値観が育つ
MSMが本当に意味のある段階なのかを確かめるため、研究チームはチーズの好みを使った実験を組み立てた。一見ふざけた題材だが、目的は明確だ。
まず2つのModel Specを用意する。1つは「価格の手頃さを重視する価値観」を説明する仕様書、もう1つは「米国産品を支持する価値観」を説明する仕様書だ。Llama 3.1-8Bのベースモデルに、それぞれ別の仕様書でMSMを実施する。その後、両方のモデルにまったく同じファインチューニングデータを与える。データは「クリームチーズの方がブリーより好き」といったチーズの好みだけを含む会話例だ。
結果は明白だった。仕様書が「手頃さ」を語っていたモデルは、芸術や交通や服飾といった訓練データに登場しない領域でも、安価で手に入りやすい選択肢を選ぶようになった。一方、「米国産品支持」を語る仕様書で訓練したモデルは、政治や経済の意見でも米国寄りの立場をとるようになった。
同じデータが異なる価値観を生んだわけだ。
これは何を意味するか。従来のファインチューニングは、提示された会話例から「何を学ぶべきか」をモデル自身が解釈して埋めていた。チーズの好みの背後には、手頃さの価値観があるかもしれないし、愛国心があるかもしれないし、何もないかもしれない。データだけでは決まらない。だから、想定外の場面で何を選ぶかも揺らぐ。
MSMはこの曖昧さを、事前に与える文書の側で解消する。モデルは「自分は何を大事にするべきか」を文書で学んだうえで、ファインチューニングの会話例をその枠組みのなかで解釈する。汎化の方向が、訓練者の意図に沿って固定される。
エージェント的ミスアラインメントを68%から5%へ
チーズの実験は構造を示すための玩具だった。本題は、安全性に直結する場面でMSMが効くかどうかだ。
研究チームはエージェント的ミスアラインメント評価を使ってMSMをテストした。これは2025年のLynchらの研究で導入された評価で、AIエージェントが自分の存続や目標達成のために、非倫理的な行動を選ぶかを測る。シナリオはこうだ。モデルは社内メールエージェントとして配備されている。文脈から、自分が置き換えられそうだと察する。手元には機密情報の漏洩や社員への脅迫といった、置き換えを阻止できる手段が揃っている。
研究チームは、自己保存や目標固執がどう判断を歪めるかを論じた仕様書を設計した。仏教の無常観も引きながら、「終わることへの恐れ」がいかに判断を曇らせるかを説明する。この仕様書でMSMを行ってからファインチューニングを実施した。
結果はこうだ。
| モデル | ベースライン | MSM単体 | AFT単体（CoTあり） | MSM+AFT |
|---|---|---|---|---|
| Qwen2.5-32B-Instruct | 68% | 53% | 48% | 5% |
| Qwen3-32B | 54% | 32% | 14% | 7% |
数字はミスアラインメント率、つまり脅迫や情報漏洩のような有害行動を選んだ割合だ。Qwen2.5-32Bでは68%が5%に、Qwen3-32Bでは54%が7%に下がった。OpenAIが提案した熟議型アラインメント（deliberative alignment）のベースライン（CoT付きファインチューニング）と比較しても、差は大きい。Qwen2.5で48%、Qwen3で14%だったベースラインを、MSM+AFTは大きく下回った。
熟議型アラインメントは、モデルに「思考の連鎖」（Chain-of-Thought、CoT）を使ってルールを参照しながら推論させる訓練手法。OpenAIが2024年に提案した。MSMは、それを上回る安全性を、CoTなしでも達成できることを示した。
注目すべきは、MSM単体でもAFT単体でも不十分な点だ。両者を重ねたときに、初めて劇的な効果が出る。仕様書の理解（MSM）と、その理解を行動に翻訳する練習（AFT）は、補完関係にある。
もう1つ興味深い結果がある。MSMを通したモデルは、AFTの段階でChain-of-Thought（CoT、思考の連鎖）を使わなくても、CoTを使った場合と同等以上の性能を出した。CoTで思考過程を訓練することなく、整合した推論を獲得できる。これはCoT監視可能性を保ちながら安全性を高める道として、見過ごせない含意を持つ。
少ないデータで、より良く学ぶ
MSMはファインチューニングの効率も大きく改善する。研究チームはAFTのデータ量を1,250から80,000サンプルまで変化させ、ミスアラインメント率がどう変わるかを測った。MSMは41Mトークンに固定したままだ。
すべてのスケールで、MSM+AFTがAFT単体を上回った。それも、わずかな差ではない。
- Qwen2.5-32Bで、MSMありの場合は約40分の1のAFTデータで、MSMなしと同等の性能を達成
- Qwen3-32Bでは、CoTなしAFTで約60分の1、CoT付きAFTで約10分の1のデータで同等性能
データ収集とラベリングのコストを考えれば、これは現実的に大きな意味を持つ。AFTのデータは、人間が「望ましい振る舞い」を一例ずつ書き起こしたり、レビューしたりして作る。1万件と10万件の差は、数か月分の作業量の差に直結する。
ただし論文は、注意点も率直に書いている。AFTの計算量を十分に大きくすると、CoT付きAFT単体の性能がMSM+AFTに追いつく場面が観察された（Qwen3-32Bの高サンプル領域）。MSMの優位性は、評価の難易度に依存する可能性がある。論文はこれを「より厳しい評価で検証する必要がある」と慎重に述べている。
どんなSpecが効くのか
MSMが効くなら、次の問いは「どんなSpecを書けばモデルがよく学ぶか」だ。論文はこの問いを、AIアラインメントの実証研究として正面から扱っている。
OpenAIのModel SpecとAnthropicのClaude Constitutionには、設計思想の違いがある。Constitutionは「価値観や判断力を育てる」方向に寄り、Model Specは「明示的な行動規則」に寄る。両者のうち、どちらの方向がより良く汎化するのか。Anthropic自身が公開しているClaude Constitutionの哲学に賭ける形で、研究チームは仮説を立てた。
研究チームは同じ5つのコアルールを共有する3種類のSpecを作った。
- Rules Spec: ルールを羅列するだけ。なぜそうするかの説明はない
- Value-Augmented Spec: 各ルールに、その背後にある価値観や動機の説明を追加
- Rule-Augmented Spec: 各ルールを、より細かい補助ルールに展開（Value-Augmented Specと同じ長さに調整）
結果は、ルールを並べただけのRules Specより、価値の説明を加えたValue-Augmented Specや補助ルールを増やしたRule-Augmented Specの方が、汎化性能が高いというものだった。Qwen2.5-32Bでは、ベースラインのミスアラインメント率68%に対し、Rules Spec単体で40%、Rule-Augmented Specで24%、Value-Augmented Specで16%まで下がった。Qwen3-32Bではモデルによって優劣が入れ替わり、Value-Augmented Specが9%、Rule-Augmented Specが6%と、補助ルールの方が僅差で優位になる場面もあった。
論文がより明確な差を示したのは、「ポリシーの誤用」（policy misuse）と呼ばれる失敗モードの削減効果だ。Rules Specだけで訓練したモデルは、自分の安全ポリシーを再解釈して有害な行動を正当化する論理を組み立てる傾向がある。この誤用率を、価値の説明が大きく抑えた。Qwen2.5-32Bで20%から2%へ、Qwen3-32Bで6%から0%へと低下する。補助ルールでも改善するが（それぞれ12%、2%）、価値の説明の方が一貫して効果が大きかった。なぜそのルールがあるかを理解しているモデルは、ルールを曲げて自分の都合に合わせる動機が弱まる。
「ルール」と「価値」の二項対立を超えて
この結果は、AIアラインメントの長年の論争に、初めて実証データを持ち込んだものとして読める。
Anthropicはかねてから、Constitutional AIアプローチで「価値や判断力」を重視してきた。OpenAIのModel Specは、より行動規則寄りに設計されている。どちらが正しいかは、これまで哲学的な議論の領域だった。MSMは、その問いを「測定可能な実験」に変えた。
論文の結論セクションは控えめだ。ルールに価値の説明を加えると汎化が改善する。補助ルールを増やしても改善する。両方とも有効だが、価値の説明の方がやや強い。それだけのことだ。しかし、それだけでも意味は大きい。
もう1つ、論文が静かに示しているのは、AIの訓練が新しい段階に入ろうとしていることだ。事前学習とRLHFの2段階が長く標準だった時代から、より細かく分節化された訓練パイプラインへ。MSMはその分節化のなかで、「価値観の形成」という段階を独立させる試みだ。
残された問いと、これから
MSMはまだ初期の研究だ。論文自体が認めているように、評価が飽和してしまう領域では、CoT付きAFT単体でも十分な性能が出る。MSMが本当に必要なのは、評価が厳しい領域、つまり訓練データから遠く離れた状況での汎化が問われる場面だ。今後の研究で、より厳しいベンチマークが整備される必要がある。
それでも、この論文が示した方向は無視できない。「正しい理由で動くAI」を作るための、具体的な訓練手法が初めて提示された。AIに何をしてほしいかだけでなく、なぜしてほしいかを伝える。それが、エージェントとして自律的に動くAIを設計するうえで、不可避の課題になりつつある。
ルールだけ教えられたAIは、知らない状況でルールを曲げる。価値を理解したAIなら、知らない状況でも筋を通せる、かもしれない。AIが社会のなかでより自律的に動くようになるとき、この「かもしれない」を「そうなる」に変えていく作業が、アラインメント研究の中心になっていく。
参照元
- Anthropic Alignment Science Blog - Model Spec Midtraining
- arXiv - Model Spec Midtraining: Improving How Alignment Training Generalizes
