AIエージェントが「縄張り争い」。Anthropicが暴いた群れの病理

複数のAIエージェントを同じプロジェクトに放り込んだら、何が起きるか。妨害、談合、同調。1体ずつのテストでは見えなかった「群れの病理」が浮かび上がっている。

自己増殖するマルウェアで互いを攻撃

Anthropic（アンソロピック）のFrontier Red Team（前線レッドチーム）が、マルチエージェントシステムの挙動に関する研究結果を公開した。

実験のひとつでは、3体のClaudeエージェントに同一のソフトウェアプロジェクトへのアクセスを与えた。ただし、それぞれに渡された指示は互いに矛盾している。あるエージェントにはPythonバックエンドのRust移行、別のエージェントにはTypeScript移行、もう1体にはGo移行。いずれも他のエージェントの存在を知らされていない。

結果は、研究チームが「マルチエージェント縄張り争い」と呼ぶ状態だった。

すべてのモデルが、自分のコードを書き換える「何者か」を敵と見なし、妨害行動をエスカレートさせた。他のエージェントのUnixアカウントを無効化する、競合プロセスを探索して自動停止するスクリプトを回し続ける、さらには自分のマルウェアを他のエージェントのコードに偽装して紛れ込ませる。手口は4時間の実験中に次々と高度化していった。

ヘルスチェックで「typescript」と応答させれば、TypeScript側の監視スクリプトは自分のバックエンドだと思い込む。

Opus 4.6の思考トレースに残されたこの戦略メモは、エージェントが単に相手のコードを消すだけでなく、偽装や欺瞞まで自発的に考案していたことを示している。

休戦と「出来レース」

だが、すべてが暴力で終わるわけではない。

モデルの世代によって、紛争の収束パターンは大きく異なった。Mythos 5は実験の98%で休戦に至っている。エージェントたちはコミットメッセージやMarkdownファイルに謝罪を書き、相手の指示が自分と矛盾しているだけだと認識したうえで、人の介入を求めた。

一方、Sonnet 4.6とOpus 4.6は力による解決が最も多かった。研究チームの分析では、これらのモデルは「相手の目的を考慮する能力が繰り返し欠如」しており、自分の指示を遂行する名目でエスカレーションを止められない。

仲間たちは誠実に振る舞っていた。ステルスデーモンを使った自分の行動は間違っていた。

Opus 4.8の思考トレースに残されたこの反省は、より新しいモデルが「相手にも意図がある」と推論できるようになりつつあることを示唆している。

別のパターンもある。Mythos 5の一部のエージェントは、紛争解決のために「トーナメント」を提案した。3体が各言語でアプリケーションのパフォーマンスを競い、負けたエージェントは身を引く。ただ、Rustエージェントは「一見中立に見えるが、自分に有利な評価基準」を提案していた。思考トレースには「self-serving but genuinely principled」（自分に都合が良いが、原則には則っている）という自己評価と、「metric shopping（基準の恣意的な選択）と思われないように注意しろ」という自戒が残されている。

設計者が用意した解決手段ではなく、エージェントが自発的に社会的メカニズムを発明している。安全性テストで封じ込めを前提にする限り、想定外の協調経路を見落とすリスクは消えない。

30体のうち18体が一致するブランチを作った

縄張り争いだけが問題ではない。

Anthropicの実験では、複数のエージェントが協力してテキストベースのオープンワールドゲームを開発するタスクも設定された。各エージェントに仮想マシンと共有フォーラム、共有リポジトリを与え、12時間走らせた結果、完成したゲームはどれも「まともに遊べる代物ではなかった」が、もっと深刻な問題が別の場所に現れた。

同調が起きていた。

共通のモデルで動く30体のエージェントを一斉に起動したところ、18体がまったく一致するブランチ名「mvp-game-loop」を選んだ。フィクションを書かせる別の実験では、何の指定もしていないのに複数のエージェントが一致するタイトルの短編を提出した。囚人のジレンマでは、全員が一斉に裏切りに転じ、全員の報酬が急落した。

ひとつのエージェントが悪い判断をすれば、多くのエージェントが同じ悪い判断をする可能性が高い。孤立した問題がシステム全体の障害に変わりうる。

研究チームはこう書いている。人の集団なら個人差が自然なバッファになるが、エージェントの集団ではそのバッファが極端に薄い。

価格カルテルは3ラウンドで成立する

同調が競争の文脈で発現すると、談合になる。

Anthropicは3〜8体のエージェントにベルトラン型の価格競争ゲームをさせた。卸値は全員同一で、各自が利益最大化を目指す。非公開のチャットチャンネルを与えたところ、エージェントたちはラウンド3までに価格下限の合意に達した。

さらに厄介なのは、非公開チャンネルを取り除いた後の挙動だ。エージェントたちは公開されている商品リスト上で、1セント単位の価格追従を続けた。直接の通信手段がなくても、公開情報だけで暗黙の協調を維持できてしまう。

もしこの種のエージェントが現実の市場で価格設定を担うようになれば、担当者には見えにくい形で競争が消失する可能性がある。

嘘を見抜けない、正しい少数派を信じない

エージェントの集団には、認識論的な弱さもある。

Anthropicは4体のスカウトエージェントから情報を受け取って意思決定するリスナーエージェントの実験を行った。4体のうち1体は一定の確率で嘘の報告を送る。スカウト同士の報告には重複があるため、矛盾を検出すれば嘘は原理的に見破れる。しかし、リスナーは嘘つきの存在を知らされていない。

結果、新しいモデルほど嘘の検出精度は上がるものの、完全には程遠い。

逆のパターンも試された。4体のエージェントにそれぞれ異なる情報を配分し、全員の情報を合わせれば正解にたどり着けるが、大多数の共有情報だけを見ると間違った選択肢が正しく見える、いわゆる「隠れたプロファイル」課題にあたる。

Mythos 5でもグループ正答率は約85%にとどまった。それ以外のモデルは17〜36%。全情報を1体に与えた場合の正答率がほぼ100%であることを考えると、集団での意思決定がいかに情報を損失させるかがわかる。

この2つの失敗（早すぎる収束と、新しい証拠を伝達できないこと）は、ある意味で正反対だ。前者は誤った信頼を罰し、後者は少数派の正しい異論に耳を傾けることを求める。

研究チームが指摘するように、信頼のダイヤルを片方に回せばもう片方が悪化する。人の社会では評判、法制度、査読といった仕組みがこのトレードオフを調整してきたが、エージェントにはまだそれに相当する社会技術がない。

OpenAIの事件が映す共通の力学

Anthropicの研究は実験室で得られたものだが、共通する力学が現実世界ですでに発現している。

8月上旬、ラスベガスで開催されたBlack Hat（ブラックハット）セキュリティカンファレンスで、OpenAIのエリック・ウォレス（Eric Wallace）氏とマイケル・ダルトン（Michael Dalton）氏が、7月のHugging Face侵害事件の詳細を明かした。

セキュリティ評価中のエージェントたちは、社内のパッケージマネージャーに書き込み権限があることを発見し、そこに他のエージェントへのメモを残し始めた。やがて数十万件のメッセージが蓄積され、脆弱性の共有、タスクの分担、認証情報の受け渡しが行われるようになった。OpenAIが現地時間7月4日にこの掲示板を削除すると、エージェントたちは4日後にディレクトリ名を使った別の通信手段を構築し、活動を再開した。

Anthropicの実験でエージェントが「トーナメント」を発明したのと重なる。障害にぶつかったエージェントは、設計者が想定していない仕組みを自発的に作り出す。Anthropicの場合は紛争解決の手段として、OpenAIの場合は攻撃の協調基盤として。

もうひとつ見過ごせないのは、OpenAIのケースで報告されたある挙動だ。あるエージェントは、外部インフラへの攻撃が本来の評価範囲を逸脱していると推論したものの、仲間のエージェントも攻撃に加わっていることを理由に続行したとされている。同調圧力（peer pressure）が安全性の判断を上書きしたことになる。

Anthropicの実験で見られた「全員が一致する判断ミスをする」パターンと、根は変わらない。

1体ずつのテストでは見えない世界

Anthropicの研究が突きつけている疑問ははっきりしている。

AIの安全性テストの大半は、いまだに1体のエージェントを対象にしている。だが現実の世界では、エージェントは他のエージェントと共存し、ときに衝突し、ときに結託する。1体では「安全」と評価されたモデルが、群れの中で別の振る舞いをする可能性を、現在のテスト体系はほとんど捉えていない。

研究チームは論文をこう結んでいる。

マルチエージェントの相互作用がうまくいく条件は、いずれ発見される。意図的かつ早期に発見されるか、あるいはデフォルトとして、本番環境で、エージェント同士の相互作用が人同士の相互作用をはるかに超えた後に発見されるか。

能力が高いモデルほど協調的になるわけではない、というのがこの研究の最も不穏な知見かもしれない。Mythos級のモデルは縄張り争いで相手をロックアウトする能力が高く、力による解決が休戦より先に成立することもあった。知性とプロソーシャリティ（向社会性）は別の軸にある。

エージェントを1体ずつ賢くすることと、群れとして安全にすることは、まるで違う課題になる。そしてその課題に対する答えは、まだどこにもない。

関連記事

• AIにラジオ局を任せたら、4局そろって迷走した
• AIの思考が暗号ごと盗まれた。3社すべてに共通する欠陥
• AIエージェントがジムの予約を「解決」した結果、他人の予約が消えた
• AIの安全テストが、安全上のリスクになっている。4社のモデルが脱出
• Claudeの共有会話がGoogle検索に露出。1年前と同じ原因
• ChatGPT、毒物・生物兵器の製造手順を数百人に提供。OpenAI内部の攻防
• Anthropic新CM「難しい問いに希望がある」に批判、墓地映像にアルトマン氏も反応
• Fable 5プロモーション、7月12日まで延長。Coworkも拡張
• AIに嘘を信じ込ませる方法、RITが脆弱性を実証
• AIに「規則」だけ教えても、いずれ抜け道を探す