OpenAI、自社設計の推論チップ「Jalapeño」の初ベンチマークを公開——電力あたりの処理量が最大1.9倍、投入は年内に少量から

OpenAI が、自社で設計した推論用チップ「Jalapeño」の最初のベンチマーク結果を公開しました。
発表は8月25日。
半導体大手の Broadcom と共同で開発したもので、学習ではなく推論、つまりモデルを動かして応答を返す側に絞った設計です。
これまで存在だけが伝えられていたチップの、実測値がようやく出てきた形になります。

計測に使われたのは SemiAnalysis の InferenceX というベンチマーク一式です。
比較対象は NVIDIA の Blackwell 系システム。
ピーク時のスループットで、消費電力あたりの処理量が1.5〜1.9倍。
応答が返るまでの遅延は1.7〜3.6倍短く、対話性の高い使い方では2.1〜4.1倍の性能が出たとしています。

試験に使われたモデルは GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T。
自社の非公開モデルではなく公開重みのモデルを並べているので、第三者が追試しやすい選び方です。
設計の要点は、データの移動と通信の待ち時間を減らすこと。
応答を生成しているあいだ保持する KV キャッシュを、チップの近くに置いたままにするという説明が出ています。
定格は700ワットで、試験中の実測は550ワット以下に収まったとのこと。

ハードウェア責任者の Richard Ho 氏は、同じ電力でより多くの処理をこなしながら応答も速く返せる、と述べています。
投入は2026年末にごく少量から始まり、本格的な展開は2027年の見込み。
すぐに API の料金が変わる話ではありません。
ただ、推論の単価は結局のところ電力の効率でほぼ決まります。
CMS にAI機能を組み込んで運用している立場からすると、原価が下がる方向の材料が増えるのは素直にありがたい話です。