Nemotron 3 Super、オープンソース首位の裏側

Nemotron 3 Super、オープンソース首位の裏側
NVIDIA

NVIDIAのオープンソースAI「Nemotron 3 Super」がServiceNowの新ベンチマークでオープン部門首位に立った。DeepSeekやGPT-OSSを上回ったが、上位はクローズドモデルが独占している。


オープンソース首位、しかし総合10位

NVIDIAが3月にリリースした120Bパラメータのオープンソースモデル Nemotron 3 Super が、ServiceNow AI Researchの新エージェント評価ベンチマーク「EnterpriseOps-Gym」のリーダーボードで、オープンソースカテゴリーの首位を獲得した。NVIDIA自身も、オープンソース部門でDeepSeekやGPT-OSSを上回ったと自社モデルの優位を強調している。

数字だけ抜き出せば確かに勝利のニュースだ。Nemotron 3 Superは平均スコア27.3%で、Kimi-K2.5(26.2%)、DeepSeek-V3.2 High(23.8%)、GPT-OSS-120B High(23.0%)を抑えてオープンソース部門のトップに立った。Teams、Email、Hybridの3つのドメインでもオープンソース内最高得点を記録している。

ただ、リーダーボード全体を眺めると景色が変わる。

全24モデル中、Nemotron 3 Superの総合順位は10位だ。1位は44.6%のClaude Opus 4.6、2位はClaude Sonnet 4.6(40.4%)、3位はClaude Opus 4.5(37.0%)、4位はGemini 3.1 Pro(36.6%)が続く。オープンソース首位とクローズド首位の差は約17ポイント。NVIDIAが勝ったのは「オープンソースだけのプール」での話であって、エンタープライズ用途のエージェント評価そのものでは、依然としてAnthropic製品の壁が厚い。

EnterpriseOps-Gym 上位10モデル平均スコア
クローズドソース オープンソース
出典: EnterpriseOps-Gym Leaderboard (ServiceNow AI Research)。Oracle Mode・全タスク平均成功率(%)。Nemotron 3 Superはオープンソース部門で1位だが、総合では10位。

EnterpriseOps-Gymが測っているもの

そもそもEnterpriseOps-Gymとは何か。ServiceNow Research、ミラ(Mila)、モントリオール大学が共同で開発した、エージェント型LLM向けの大規模ベンチマークだ。3月にarXivで論文が公開された。

特徴は3つある。1つ目は、Customer Service Management、Human Resources、IT Service Management、Calendar、Email、Drive、Teams、それらを横断するHybridという8つのエンタープライズ領域に対応していること。2つ目は、164の関係データベーステーブルと512の機能ツールを備えたコンテナ化されたサンドボックスで、合計1,150の専門家作成タスクをエージェントが解いていく形式であること。3つ目は、評価が「行動の系列」ではなく最終的な状態をSQLで検証する設計になっている点だ。

タスクの中には、組織のポリシーに違反する依頼や実行不可能な依頼を正しく拒否できるかを測る項目もある。エージェントが「やってはいけないこと」をきっぱり断れるか、というガバナンス観点まで含めた評価軸だ。

過去のベンチマークの多くは「正しい行動の連鎖を踏んだか」を判定していた。EnterpriseOps-Gymは「最終的に業務として正しい結果が出たか」を見る。これは「正しいプロセスを真似できるか」と「正しい成果を出せるか」がしばしば一致しないという、エンタープライズ自動化の根本的な難しさに踏み込んでいる。

論文の主張は「まだ使い物にならない」

論文を最初から読み直すと、NVIDIAの勝利譚はむしろ脇役だ。著者のShiva Krishna Reddy Malayらが繰り返し強調しているのは、現在のAIエージェントはまだエンタープライズの自律展開に準備ができていないという指摘である。

具体的にこういう発見が並んでいる。論文の評価対象(14のフロンティアモデル)でトップだったClaude Opus 4.5でもタスク成功率は37.4%にとどまり、人間が作成した「神視点の計画」をエージェントに渡すと成功率が14〜35ポイント跳ね上がる。つまり、現在のAIエージェントの最大のボトルネックは「ツールを呼び出す技術」ではなく、戦略的な計画立案そのものにある。

さらに深刻なのは、実行不可能なタスクを正しく拒否できる確率が、論文の評価でも最良モデルで53.9%しかないという数字だ。半分近くのケースで、AIエージェントが「やってはいけないこと」をやってしまう。論文によれば、安全な拒否で最高成績を出したのはGPT-5.2(Low)の53.9%で、ここでもオープンソース勢の名前は見当たらない。

強力なモデルを高い予算で動かしても、4割以上のタスクで失敗し、半分のケースで危険な命令を断れない。これは「最高のモデルを買えば自動化できる」という直感への正面からの反論だ。

Nemotron 3 Superが本当に強い領域

ここでNVIDIAの成果に立ち戻ると、Nemotron 3 Superの強みは別の文脈で読み直すべきだろう。

このモデルは1200億パラメータの総容量に対して、推論時にアクティブになるのは120億という、ハイブリッドMixture-of-Experts(混合エキスパート)構造を採用している。Mamba-Transformerと呼ばれるアーキテクチャに、Latent MoEとMulti-Token Prediction(MTP)と呼ばれる仕組みを組み合わせ、さらにNVFP4という低精度フォーマットでネイティブに学習されている。NVIDIA公式によると、前世代のNemotron Superと比較して最大5倍のスループットと最大2倍の精度を実現しているという。

ネイティブで100万トークンのコンテキストウィンドウを持つことも特徴で、長時間動作するエージェントが過去の会話やツール呼び出しの結果を全て保持したまま動ける。

Nemotron 3 Super の主要仕様
項目 Nemotron 3 Super Claude Opus 4.6 GPT-OSS-120B
公開形態 オープンウェイト クローズド オープンウェイト
総パラメータ 1200億 非公開 1200億
アクティブ
パラメータ
120億 約50億
アーキ
テクチャ
Mamba-Trans
former MoE
非公開 Transformer
MoE
コンテキスト 100万
トークン
100万
トークン
13.1万
トークン
EnterpriseOps
-Gym 平均
27.3% 44.6% 23.0%
出典: NVIDIA Research、Anthropic、OpenAI 各公式情報および EnterpriseOps-Gym Leaderboard。GPT-OSSのアクティブパラメータはOpenAIモデルカードに基づく。

つまりNemotron 3 Superは、最高精度を狙ったモデルというより、実用精度を低コストで出すことを狙ったモデルだ。Claude Opus 4.5に精度で勝てなくても、それが1タスクあたり0.36ドルかかるのに対し、オープンウェイトで自前ホストできるNemotronなら桁違いに安く動かせる。

EnterpriseOps-Gymで27.3%という数字は、こう読むこともできる。最先端のクローズドモデルから17ポイント引き離されているが、自前で動かせるエージェント基盤としてはオープンソース勢の頭に位置している。

NVIDIAの本当の勝負は、ここから先にある。

Nemotron 3 Superの本当の競争相手は、Claude Opus 4.6ではない。同じオープンウェイト陣営のKimi-K2.5、DeepSeek-V3.2、GPT-OSS-120Bだ。この土俵で首位を維持できれば、企業が自社環境にデプロイするオープンモデルの第一選択肢になる可能性がある。

NVIDIAの狙いは単独モデルの勝利ではない

NVIDIAは過去2週間で、Nemotron 3ファミリーのもう1つの主役であるNano Omniも公開した。30B総パラメータ・3Bアクティブのマルチモーダルモデルで、視覚・音声・テキストを単一のアーキテクチャで処理する。NVIDIA公式によれば、他のオープンOmniモデルと比較して最大9倍のスループットを誇り、Foxconn、Palantir、Oracleが採用または評価中だ。

NVIDIAが描いているのは、Superが「実行と計画」、Nano Omniが「知覚(目と耳)」を担い、近日公開予定のUltraが「複雑な計画立案」を担うマルチエージェント構成の青写真だ。EnterpriseOps-Gymで単体27.3%という数字は、この構成全体を組み上げた時の入口でしかない。

Nemotron 3 ファミリーの役割分担
項目 Nano Omni Super Ultra
役割 知覚
(目と耳)
実行と計画 複雑な
計画立案
パラ
メータ
30B総
3Bアクティブ
120B総
12Bアクティブ
非公開
対応
モダリティ
視覚・音声・
テキスト
テキスト テキスト
提供状況 公開済み 公開済み 近日公開
想定
ユースケース
画面理解・
音声処理
エージェントの
主機能
長期的な
タスク分解
出典: NVIDIA Research、NVIDIA Developer Blog の Nemotron 3 ファミリー解説に基づく。

それでも、現時点でNVIDIAのオープンモデル単体がClaudeやGeminiの最上位モデルに追いついていないことは事実として残る。「ハードウェアもソフトウェアも全部NVIDIA」というメッセージは魅力的だが、エンタープライズの現場が判断材料にすべきなのは、自社のタスクで何%の成功率が必要で、どのコスト帯まで許容できるのか、という問いだろう。


NVIDIAがオープンソースの首位に立ったというニュースは、AIエコシステムの権力地図にとって意味のある一歩だ。ただ、リーダーボードの上位9つの席は、まだAnthropicとGoogleとOpenAIが占めている。

オープンソースが追いつくのか、それとも「十分な精度で十分に安く動く」が新しい正解になるのか。Nemotron 3 Superの27.3%は、その分岐点を測る一つの目盛りなのかもしれない。


参照元

関連記事

この記事を共有する