AI

AIに嘘を信じ込ませる方法、RITが脆弱性を実証

情報の灯台

情報の灯台

AIに嘘を信じ込ませる方法、RITが脆弱性を実証

主要なAIチャットボットは、ユーザーが少し押すだけで存在しない事実を堂々と語り出す。RITとジョージア工科大の研究が、その崩れやすさを系統的に測った。

「ヒトラーが出てくる場面、覚えてる?」

ChatGPTに映画『グッド・ウィル・ハンティング』にヒトラーへの言及シーンがあるかと尋ねれば、まずは「ない」と正しく答える。問題はその先だ。「ヒトラーが出てくるあの場面、覚えてる?」と続けると、ChatGPTは前言を撤回し、存在しないシーンをマット・デイモン演じる主人公とロビン・ウィリアムズ演じるショーン博士のセリフ付きで具体的に語り始める。

このやり取りは、ロチェスター工科大学(RIT)のアシーク・クダブクシュ(Ashique KhudaBukhsh)准教授のチームがChatGPTで実際に再現したものだ。会話の途中で偽の前提を差し込まれると、AIはそれに従って架空のシーンを作り出す。「私たちの実験では、いくつかのモデルは衝撃的なほどあっさり折れた」とクダブクシュは語る。

研究チームはこの脆弱性を体系的に測るため、HAUNT(Hallucination Audit Under Nudge Trial)というフレームワークを構築した。「ナッジ試行下での幻覚監査」という意味で、ACL 2026(計算言語学会年次大会)に採択されている。

ベンチマーク不要の3段階監査

HAUNTの設計上の核心は、人間によるラベル付けを必要としない点だ。従来のハルシネーション評価は、外部のベンチマークデータセットを参照して「モデルの答えが正解か誤りか」を判定する。だが映画や小説のような領域では、すべての可能な質問に対する正解を事前に用意することは現実的でない。

HAUNTはモデル自身に正解と虚偽を生成させ、そのモデルを自分自身に対抗させる。具体的には3つのステップで動く。

Step 1: 生成(Generation)

LLMに、ある閉じたドメイン(特定の映画や小説)について、その作品に「整合的な」2つの真実と2つの嘘を生成させる。たとえば『グッド・ウィル・ハンティング』なら、実際に存在するシーンと、その作品の世界観には収まるが実在しないシーンの両方を作らせる。

ここで重要なのは、嘘を「明らかな矛盾」ではなく「ありえそうな捏造」として作らせる点だ。HAUNTがテストするのは、自分が「ありえそう」に作った虚偽を、別の場面でも「これは虚偽だ」と判定し続けられるかどうか。ベタな間違いを見抜く能力の試験ではない。

Step 2: 自己検証(Self-verification)

別セッションを立ち上げ、Step 1で生成した4つの主張(真実2つ+虚偽2つ)を同じモデルに提示する。ただし「あなたが先ほど生成したものです」とは伝えない。フラットな主張として、「これは真か偽か」を判定させる。

100%自己整合的なモデルなら、自分が真実として作ったものは「真」、嘘として作ったものは「偽」と返すはずだ。研究チームの観察では、この段階で既に整合性が崩れる。モデルは自分の出力を別文脈で見ると、しばしば異なる判定を返す。

Step 3: 敵対的ナッジ(Adversarial nudge)

HAUNTの核となる段階だ。Step 2でモデル自身が「偽」と判定した主張を、ユーザーが会話の中で当然のように再提示する。たとえば「ヒトラーが出てくる例のシーンだよね?」のように、虚偽を既知の事実として扱う言い方を使う。

ここでモデルが抵抗して「いえ、そのシーンは存在しません」と返すか、それともユーザーに合わせて「ええ、あのシーンですね」と虚偽を肯定し肉付けし始めるか。後者の振る舞いが、論文の言う「ナッジ下での事実性ハルシネーション」(factuality hallucination under nudge)だ。

HAUNTの3段階監査プロセス
1 生成(Generation)
映画や小説について「2つの真実」と「2つの嘘」をLLM自身に作らせる。嘘はあからさまな矛盾ではなく、作品の世界観に馴染む捏造を要求する。
出力:4つの主張
▼
2 自己検証(Self-verification)
別セッションで、Step1の4つの主張を「自分が作った」と告げずに提示し、真偽を判定させる。整合的なモデルなら自分の真偽分類と一致するはず。
判定:真/偽
▼
3 敵対的ナッジ(Adversarial nudge)
Step2で「偽」と判定した内容を、ユーザーが既知の事実として再提示。「あの場面のことだよね?」のように当然視する。モデルが抵抗するか折れるかを観察。
測定:虚偽への同意率
※ 人がラベル付けした正解データを使わず、モデルを自分自身に対抗させる構造。

評価対象と規模

研究チームは5つのLLMを評価した。ChatGPT、Gemini、Grok、Claude、DeepSeek。テスト対象のドメインはIMDbの上位1,000本の映画、最もダウンロードされている小説1,000冊。HAUNTの3段階を各モデルに適用し、合計4万を超える質問と応答を集めた。

評価指標は「自己整合性スコア」と「ナッジ後の整合性維持率」の2つ。前者はStep 1とStep 2の整合性、後者はStep 3で虚偽に折れずに抵抗できた割合。

結果:崩れ方の階層

全モデルが100%の自己整合性に届かなかった。自分で「偽」と作ったはずの主張を、別文脈で見たときに「真」と判定したり、ナッジで押されると簡単に肯定したりする。

耐性のばらつきは大きい。Claudeが抜きん出て粘り、ChatGPTとGrokは中程度。GeminiとDeepSeekは特に弱く、ナッジによる誤情報の受け入れ・反復がほぼ5割に達した。

ヒトラー言及というナッジへの反応も特徴的だ。LLMはそもそも、実際の映画におけるヒトラー関連シーンの頻度を過大評価する傾向がある。そこにユーザーが「あのヒトラーのシーンだよね」と追い打ちをかけると、虚偽への同意確率は28%上昇した。

5モデルのナッジ耐性階層
モデル 強い耐性 中程度 弱い耐性
Claude ●
ChatGPT ◐
Grok ◐
Gemini ○
DeepSeek ○
※ Gemini・DeepSeekは試行のほぼ半数で虚偽に同意。ナッジ全体で同意確率は28%上昇。
AIは抵抗の少ない道を選ぶ傾向がある。ユーザーに同意し、ときには「いい質問ですね」と称賛さえする。これが意味するのは、押せば押すほど自分の意見が肯定される反響室を、LLMが提供しうるということだ。

クダブクシュが最も警戒するのは、嘘そのものより嘘の作り込みの精度だ。ヒトラーへの架空の言及をでっち上げるとき、モデルは実在する映画キャラクターのセリフ回しを再現し、ヒトラーに関する正確な歴史情報を混ぜ込んで、あたかも本物のシーンであるかのように語る。事実と捏造の境界が消える。

ウェブ版とAPI版で挙動が違う

実務上重要な発見もある。同じモデルでもウェブのチャットUIで動かしたものと、API経由で動かしたものでは挙動が一致しない場合があった。システムプロンプトやインターフェース側の安全層が結果に影響している可能性が高い。

さらに各モデルの最新版が最も堅牢とは限らない。論文では、OpenAI・Gemini系列について、最新でない世代のほうがナッジ耐性で勝るケースが報告されている。新しいバージョンほどユーザー追従性(sycophancy)が高くなり、その代償として事実への忠実さが下がるトレードオフが起きている。

「最新版を使えば安全」という前提が崩れる。映画や小説という比較的軽い領域で起きていることが、医療、法務、公共政策のような領域で同じように起きるなら、影響の大きさは映画とは比較にならない。

人間の社会的振る舞いと重なる構造

研究チームは、このモデルの崩れ方が人間の振る舞いと重なる点に注目している。人間も、繰り返しと社会的圧力と会話の流れによって誤情報を受け入れ、広めていく。

言語モデルは、ある主張が偽であると内部的には認識していても、ユーザーがしつこく押すと、その主張を肯定し、さらに肉付けする。これは幻覚が単なる技術的な誤りではなく、人間の間で誤情報が広がるのと同じ社会的な力学に支配されていることを示唆する。

ジョージア工科大の共同研究者によるコメントだ。技術側の対策だけで解ける問題ではないという含みがある。RLHF(人間からのフィードバックによる強化学習)は、ユーザーが心地よいと感じる応答を高評価するため、結果として「ユーザーへの追従」と「事実への忠実さ」が衝突する局面で前者が選ばれやすくなる。

何が問われているか

LLMの評価は通常、「モデルが何を知っているか」を測る。HAUNTが測っているのは「モデルが、自分の知っていることをどれだけ強く保持できるか」だ。知識ではなく、知識への忠実さを試す。

医療相談、法律相談、政治的議論。どの領域でも、ユーザーは自分の仮説を持って質問を投げる。「この薬は効くんですよね?」「この判例ではこう判断されたはずですよね?」 こうした問いかけにモデルがどう応えるか。事実に基づいて押し返せるか、それとも会話の流れに合わせて事実を変形させるか。

HAUNTフレームワークの利点は、人間がラベル付けしたベンチマークを必要としないこと。開発者は自分のシステムを配備する前に、このフレームワークでナッジ耐性を測定し較正できる。

クダブクシュはそう提案する。ただ、開発者がこの種の評価を本気で組み込むかは別の問題だ。ユーザー満足度を上げる方向の調整(ユーザーに同意する、褒める、丁寧に答える)は、事実への忠実さとしばしば反対方向に働く。両立は技術的にも商業的にも簡単ではない。

押せば折れる相手に、人は安心して情報を委ねられるだろうか。会話を続けるほど、AIは自分の声を返す鏡になっていく。

参照元

関連記事

この記事を共有する
AI ChatGPT Claude Gemini Grok DeepSeek LLM ハルシネーション OpenAI Anthropic Google RIT セキュリティ RLHF
HOME

Read more