「あなたは専門家です」──その一文がAIを劣化させる

AIに「専門家のふり」をさせると、事実の正確性がかえって低下する。直感に反するこの研究結果は、プロンプトの常識を根底から揺さぶる。

「専門家を演じろ」でAIの正答率が下がる

「You are an expert machine learning programmer」──AIに指示を出すとき、こうしたペルソナ（役割設定）を冒頭に添える手法は、2023年の初期研究を皮切りに広まり、もはや常識として定着している。Redditのプロンプトガイドにも、Claudeの活用術にも、当たり前のように登場する。

だが、南カリフォルニア大学（USC）の研究チームが3月19日（日本時間）にarXivで公開したプレプリント論文は、この「常識」に正面から疑問を突きつけた。ジジャオ・フー、モハマド・ロスタミ、ジェシー・トーマソンの3名が発表した研究によれば、ペルソナ・プロンプティングの効果はタスクの種類に依存する。そして、多くのユーザーが最も期待しているであろう場面──コーディングや数学といった正確性が問われるタスク──では、むしろ性能が悪化する。

研究チームがMMLU（大規模マルチタスク言語理解）ベンチマークで検証したところ、専門家ペルソナを付与したモデルの正答率は68.0%。ペルソナなしのベースモデルは71.6%だった。全4カテゴリすべてで、ペルソナ付きが下回っている。

https://x.com/guilleflorvs/status/2036024710304006639

この結果は孤立した発見ではない。2025年12月には、ペンシルバニア大学ウォートン校のイーサン・モリックらも同様の検証結果を報告している。6つのモデルを対象に、専門家ペルソナが事実正確性に与える影響を測定した結果、有意な改善は確認されなかった。

https://x.com/emollick/status/1998063517681799418

つまり、「専門家のふりをさせれば賢くなる」という信念は、少なくとも事実に関する限り、幻想だったわけだ。

なぜ「専門家ペルソナ」は事実を損なうのか

理由はシンプルだが、含意は深い。AIに「あなたは専門家です」と伝えても、モデルの訓練データに新たな知識が追加されるわけではない。知らないことは、肩書きを与えても知らないままだ。

研究チームは、ペルソナの接頭辞がモデルの 「指示追従モード」 を活性化させ、本来なら事実の想起に使われるべきリソースを奪っていると指摘している。

人間に置き換えれば、想像しやすい。会議で「あなたは今日から主任エンジニアです」と言われた新人が、急に正確な判断を下せるようになるわけがない。むしろ、「主任らしく振る舞わなければ」という意識が、素直に「わかりません」と言うことを妨げる。AIでも構造は同じだ。専門家「らしさ」の演出にリソースが奪われ、事実の検索精度が犠牲になる。

ペルソナが力を発揮する場面もある

この研究はペルソナ・プロンプティングの全否定ではない。むしろ、効く場面と効かない場面の境界線を初めて体系的に示した点にこそ価値がある。

安全性の領域では効果は劇的だった。「セーフティ・モニター」という専門ペルソナを設定すると、ジェイルブレイク攻撃の拒否率がJailbreakBenchで17.7ポイント上昇した（53.2%→70.9%）。文章の品質評価、ロールプレイ、構造化された出力──こうした「整合性（アライメント）」に依存するタスクでは、ペルソナはモデルの振る舞いを改善する。

共同研究者のフーはThe Registerの取材で、実用的な指針をこう要約した。「整合性を重視するなら要件を具体的に指定せよ。正確性を重視するなら、何も加えずそのまま質問を投げよ」

言い換えれば、「あなたは専門家フルスタック開発者です」という漠然とした権威付けは無意味だが、「UIはTailwindを使い、認証はOAuth 2.0で実装せよ」という具体的な要件指定には意味がある。ペルソナは「誰であるか」ではなく、「何をどうするか」 の粒度で効いてくるのだ。

PRISMが示す「使い分け」の未来

研究チームは問題の特定にとどまらず、解決策も提案している。PRISM（Persona Routing via Intent-based Self-Modeling）と名付けられたこのフレームワークは、ゲート付きLoRA（低ランク適応）アダプターを使い、ペルソナの適用を動的に切り替える。

ユーザーの意図を分析し、ペルソナが効果を発揮するタスクではアダプターを有効にする。事実の正確性が求められる場面では、ベースモデルをそのまま使う。ペルソナの恩恵を受けつつ、代償を払わない設計だ。

ただし、現時点でPRISMの検証は 70億〜80億パラメータ の比較的小規模なモデルに限られている。大規模モデルでの有効性や、既存のLoRA拡張との併用には課題が残る。

それでも、この研究が突きつけるメッセージは明快だ。「あなたは専門家です」と書くだけで出力が良くなると信じていた人は、自分のプロンプトで自分の足を撃っていたかもしれない。

ペルソナは万能薬ではなく、メスだった。切る場所を間違えれば、治すどころか傷を深くする。

#AI #プロンプトエンジニアリング #LLM #ペルソナプロンプティング #USC #機械学習