Amazonが「人による監視」を信用しない理由

情報の灯台

2026年6月21日 14:2500

Amazon

AIエージェントの暴走を防ぐ最後の砦は、人だと信じられてきた。その信頼に疑問を突きつけたのが、Amazon自身のセキュリティ責任者だ。

「人はそんなに一貫していない」

エリック・ブランドワイン（Eric Brandwine）氏はAmazonセキュリティ部門のバイスプレジデント兼ディスティングイッシュトエンジニアだ。インタビューで語った内容は率直だった。AIエージェントが企業のITシステム内で自律的に動く時代に、「human-in-the-loop（人による監視）はゴールドスタンダードとは限らない」と言い切った。

ブランドワイン氏の論点はこうだ。AIエージェントに承認判断を繰り返し求められる立場に人を置けば、最初はきちんとやる。しばらくすると「まあまあ」になる。そしてすぐに、雑になる。

これは推測ではない。2017年のAWS re:Inventでブランドワイン氏自身が講演で取り上げた概念が、そのまま当てはまる。「逸脱の正常化」（normalization of deviance）だ。

アラームが鳴っても飛び上がらなくなる

この概念を提唱したのは社会学者ダイアン・ヴォーン（Diane Vaughan）氏だ。スペースシャトル・チャレンジャー号の事故分析から生まれた用語で、組織の中で手順の逸脱が繰り返され、破滅的な結果が起きないまま時間が過ぎると、その逸脱が「普通」になっていく現象を指す。チャレンジャー号では、Oリングの異常が複数のフライトで観測されながら、打ち上げのたびに問題なく帰還したことで、異常が許容範囲として定着していった。

ブランドワイン氏はこれを救急外来に重ねた。配属初日、モニターのアラームが鳴るたびに飛び上がる。だが患者に何も起きない。誤報だったと分かり、席に戻る。それが繰り返されるうちに、アラームに反応しなくなる。

AIエージェントの承認作業でも同じことが起きる、というのがブランドワイン氏の主張だ。何百回も「承認」を押し続けるうちに、人は中身を見なくなる。Amazonが「human-in-the-loopの大ファンではない」と公言する理由はここにある。高速で回る判断ループの中に人を挟み込んでも、望んだ結果は得られない。

人もAIも非決定的だという共通項

ブランドワイン氏の指摘で見落とせないのは、「人もAIも非決定的だ」という比較だ。同じ入力に対して同じ出力を返す保証がない点で、人とLLMは同じだと言う。どちらも間違え、どちらもでっち上げる。ただし人には数千年の付き合いがあり、失敗の仕方を知っている。LLMとはまだ10年も経っていない。

人は自分たちのことを「少し特別」だと思いがちだ。自分は仕事ができると思っている。でも実際のところ、人はそんなに一貫していない。

この言い方は挑発的に聞こえるかもしれない。だが裏返せば、「人の弱点を知っているからこそ、そこに頼り切る設計はやめよう」という話だ。

Amazonが代わりに置くもの

human-in-the-loopを退けるだけでは無責任になる。Amazonが示しているのは、「人の代わり」ではなく「人に頼らない仕組み」だ。

柱になっているのはエージェントのアイデンティティ管理だ。Amazon社内では、すべてのAIエージェントに独立したIDが割り振られている。ログに記録されるのは「エリックがこれをやった」ではなく、「このエージェントがエリックの代理としてこれをやった」だ。責任の帰属は人に残る。だが行動の追跡はエージェント単位で行う。

AWSは2025年7月にBedrock AgentCoreをプレビュー公開し、同年10月に一般提供を開始した。その中核サービスの一つであるAgentCore Identityが、エージェントのID管理、認証情報の一元管理、OAuth 2.0フロー対応を担う。さらに2026年4月にはエージェントAIのセキュリティ原則として、計算環境の分離、ID・アクセス管理、ツールアクセスのポリシー制御、可観測性の4本柱を公表した。

ブランドワイン氏はこうも言った。自分がキーボードでコマンドを打ってサービスを落としたら、障害を起こしたのは自分だ。スクリプトを走らせて落としても自分の責任だ。エージェントがスクリプトを書いて走らせて落としても、それでも自分の責任だ。人をループから外しても、責任までは外さない。

Amazonと「逸脱の正常化」の接点

2017年

AWS re:Inventで「逸脱の正常化」講演

ブランドワイン氏が組織の安全文化をテーマに登壇

2025年7月

Bedrock AgentCoreプレビュー公開

エージェントのID管理・認証基盤をサービスとして提供開始

2026年4月

エージェントAIセキュリティ4原則を公表

計算環境の分離・ID管理・ポリシー制御・可観測性

2026年6月

human-in-the-loopの限界を指摘

ブランドワイン氏が人的監視の逸脱リスクを公に語る

2026年8月

EU AI法第14条施行

高リスクAIシステムへの人的監視義務が発効

※「逸脱の正常化」は社会学者ダイアン・ヴォーン氏が1996年の著書で提唱した概念。1986年のチャレンジャー号事故分析に基づく

EU AI法が求める「人的監視」との緊張

ブランドワイン氏の発言が出たのは、EU AI法の施行まで6週間というタイミングだ。EU AI法（AI Act）第14条は、高リスクAIシステムに対して人的監視を設計段階から組み込むことを義務づけている。施行日は2026年8月2日。

第14条が求めるのは、AIシステムの出力を正しく解釈し、異常を検知し、必要に応じて介入・停止できる能力を監視者に持たせることだ。遠隔生体認証のような領域では、少なくとも2人の有資格者による確認も求められる。

「人的監視は万能ではない」というAmazon側の主張と、「人的監視を設計に組み込め」というEUの規制は、正面からぶつかるように見える。だが実際には、ぶつかっているのは別のものだ。

ブランドワイン氏が批判しているのは「人を高速ループに挟む」運用であり、EUが求めているのは「人が介入できる設計」だ。前者は人の注意力が持たないから破綻する。後者は人が必要なときに止められる仕組みを作れと言っている。同じ「human-in-the-loop」という言葉を使いながら、指している現実が違う。

ただし、その区別が実運用で守れるかは別の問題だ。監視権限を持った担当者が、何千回もの正常動作を見続けた後に、初めて異常が起きたとき反応できるのか。ブランドワイン氏が救急外来の例で語ったのは、まさにその懸念だ。