推論

Google、Geminiを「焼き込んだ」専用チップを開発中

AI

Google、Geminiを「焼き込んだ」専用チップを開発中

Googleが、Gemini AIモデルの設計をシリコンに直接統合するサーバーチップを開発している。非公式に「Frozen v2」と呼ばれるこのチップは、2028年にも投入される可能性があるという。 TPUとは別の道 Googleが新たに手がけるチップは、同社のTPU(Tensor Processing Unit)とは根本的に性格が異なる。 TPUは汎用のAIアクセラレータだ。多種のモデル、多様なワークロードに対応できるよう設計されている。NVIDIAのGPUも同様で、どんなAIモデルでも動かせる代わりに、実行のたびにメモリからモデルのパラメータを読み込み、計算し、書き戻すという手順を踏む。 Frozen v2はその手順を省く。Geminiモデルの判断ロジックの一部をチップの回路そのものに組み込み、データの移動量と処理ステップを削減する。The Informationが事情に詳しい2名の関係者の話として報じたところによると、開発者はこのチップが現行TPUの6〜10倍の効率を達成すると見込んでいる。 Googleは4月にTPU 8t(トレーニング用)とTPU 8i(推論用)を

OpenAIが推論を自前でまかなう日

AI

OpenAIが推論を自前でまかなう日

ChatGPTに問いを投げる。数秒で答えが返る。その一往復のうしろで、OpenAIは四半期に数十億ドル単位の現金を燃やしている。最も重く燃えているのが、答えを生成する処理、つまり推論だ。6月24日、OpenAIはブロードコムと共同開発した初の自社チップ「Jalapeño」を披露した。これは新製品の発表というより、燃費を自分で決めにいく一手だ。 エヌビディアに渡さない一ドル 2025年10月13日、OpenAIとブロードコムは10ギガワット規模のカスタムチップ共同開発を公表した。その設計が、今や実物のチップになった。Jalapeñoは推論に特化したASIC(特定用途向け集積回路)で、学習用ではない。汎用GPUより融通は利かないが、その代わりに安く、特定の処理に絞って効率を突き詰められる。 このチップが守ろうとしているのは、利用者から見えない場所にある勘定だ。学習はAIモデルをゼロから作り上げる工程、推論はその完成したモデルが答えを返す工程だ。利用者が9億人を超え、毎日数億の問い合わせがサーバーに届く規模になると、コストの重心は学習から推論へ移る。一度に巨額がかかる学習と違い、推論