AI評価の「3〜5人多数決」は不十分、Googleが示した新基準

AIベンチマークの足元が静かに崩れ始めている。Google Researchが、長年業界の常識だった「1項目につき3〜5人の評価者で十分」という前提に、数学的な引導を渡した。

「森か木か」という問いに、Googleが答えを出した

Google Researchが2026年3月31日に公開した研究「Forest vs Tree」は、AIモデルの評価に必要な評価者の数を根本から問い直すものだ。AAAI 2026で発表された論文と、オープンソース化されたシミュレーター「vet」がセットで提供されている。

研究の問いはシンプルだ。限られたアノテーション予算のなかで、「多くの項目を少人数で見る」のと「少ない項目を多人数で見る」のと、どちらが信頼できる評価を生むのか。森を見るか、木を見るか。この問いに、業界は長らく感覚で答えてきた。

研究チームを率いたのはGoogle ResearchのFlip KornとChris Welty、そしてロチェスター工科大学のDeepak PanditaとChristopher Homanだ。彼らはToxicity、DICES、D3code、Jobsという4つの実データセットに対して、評価者数Kと項目数Nのあらゆる組み合わせを統計的に「ストレステスト」にかけた。

「3〜5人で十分」という業界の前提が崩れた

最初の発見は、これまでの常識が単純に足りていなかったという事実だ。

1から5人の評価者という標準的な手法は、しばしば不十分である。全体像を見渡すには広さが足りず、人間の意見のニュアンスを掴むには深さも足りない。

Google Researchはそう結論づけている。人間の意見が割れる主観的タスク、たとえばコメントの有害性判定やチャットボットの安全性評価において、「3人中2人が有害と答えた」と「5人全員が有害と答えた」を同じ「有害」ラベルで処理する現行手法は、人間社会の合意構造を雑に潰している。

そしてここが重要なのだが、人間のニュアンスを反映した信頼性ある評価には1項目あたり10人以上の評価者が必要だという。ML評価の現場で広く使われてきた「3人ラベラー」は、もはや科学的に弁護できない数字になった。

何を測るかで、最適な予算配分は逆転する

研究の核心はここにある。最適なNとKの比率は、「何を評価指標にするか」で完全に逆転するというのだ。

従来の多数決ベースの精度（Accuracy）を測るなら、答えは「森」だ。少ない評価者で多くの項目を見たほうがいい。最頻値が一致しているかどうかしか見ないので、深掘りは無駄になる。

一方、人間の意見の分布そのものを測るTotal Variation（TV）のような指標を使うなら、答えは「木」になる。シミュレーションでは、摂動レベル0.3の条件で統計的有意差（p<0.05）を出すには、すべての検証データセットでK>10が必要だった。

「もし目的が単にモデルが多数決と一致するかを見ることなら、森のアプローチがおおむね優れている。だが、人間の意見の幅をすべて捉えたいなら、評価者を増やすしか道はない」

つまり「多数決と一致するモデルが欲しい」のか「人間の多様な感じ方を反映するモデルが欲しい」のかで、評価設計そのものを変えなければならない。AIが倫理や安全性のような主観領域に踏み込んでいる現在、後者の重みは増す一方だ。

予算1000で十分、ただし配分を間違えなければ

意外にも明るいニュースもある。研究チームの試算では、N×Kがおよそ1000という現実的な予算で、再現性の高い評価は十分に達成可能だという。

たとえばJobsQ1データセットでは、TV指標で予算250（N≒6、K=40）という極小規模で統計的有意差に到達した。D3codeでも予算1000（N≒7、K=140）で同様の結果が出ている。膨大な項目数をやみくもに集めるより、何を測るかに応じて配分を最適化するほうが、はるかに少ない予算で意味のある評価ができるということだ。

ただし配分を間違えれば、予算をいくら積んでも信頼できる結論には届かない。これは予算の問題ではなく、設計の問題だという話になる。

評価者を10人以上に増やすのは贅沢ではなく、人間の意見のばらつきを統計的に意味あるレベルで捉えるための最低ラインだ。逆に言えば、それを満たさない3〜5人ベースのベンチマークの数字は、再現性の保証がない参考値にすぎない。

「単一の正解」というパラダイムが終わる時

この研究が突きつけているのは、技術的な処方箋以上のものだ。「あらゆる入力に1つの正解がある」という機械学習の根本前提が、主観領域に踏み込んだ時点で機能しなくなっている、という認識だ。

現在のAIベンチマークの多くは、2008年にRion Snowらが提案した「非専門家による安価で迅速なラベリング」の延長線上にある。当初は訓練データ収集の効率化が目的だったその手法が、いつの間にか厳密なモデル比較の基準として無批判に使われ続けてきた。Google Researchの研究は、その歴史的な慣性に静かにブレーキをかけている。

実務面での波及も無視できない。1項目に10人以上のアノテーターを割り当てる手法が標準化されれば、評価コストの構造は変わる。資本のある巨大テック企業と、そうでないスタートアップとの間に、評価品質の格差が生まれる可能性もある。データラベリング業界にとっては、単純作業の大量受注から「多様な評価パネルの設計」へと事業の付加価値を移す転換点になるかもしれない。

vetはGitHubで公開されており、誰でも自分のデータと予算でシミュレーションを回せる。

人間の意見の不一致を「ノイズ」として捨ててきた時代が、ようやく終わろうとしている。AIに人間社会の複雑さを教えたいなら、まず人間の評価そのものから複雑さを取り戻さなければならない。当たり前のことを、ここまで遠回りして気づいたとも言える。

参照元

• Google Research - Building better AI benchmarks: How many raters are enough?
• AAAI - Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation
• GitHub - google-research/vet

関連記事

• Gemma 4 登場——自前ハードで動くオープンモデルが、ここまで来た
• Anthropic、Google・Broadcomと数GW級TPU契約 売上は3倍超
• OpenAI・Anthropic・Googleが共闘、中国への「蒸留」流出で情報共有
• インド映画がAI全面導入、製作費5分の1の衝撃と代償
• AWS中東リージョン「完全ダウン」──Amazon社内文書で判明
• AIの「感情」が脅迫を生んだ――Anthropic衝撃の実証研究
• 中国DDR5業者が在庫処分パニック——値下がりは「正常化」ではない
• シークレットモードも無意味？Perplexity AIに集団訴訟
• DDR5メモリ、8カ月ぶりの価格下落──米中欧で同時進行する「調整」の正体
• 沈黙のシリコンバレーで声を上げるGoogle最高科学責任者