AMD、学習済みモデルをシリコンに焼き込む Taalas を買収——推論専用チップで GPU を補う構え

AMD が8月6日の市場終了後、トロントのスタートアップ Taalas を買収すると発表しました。
金額は公表されていません。
規制当局の承認を前提に、2026年の第4四半期にクローズする見込みだとしています。

Taalas は2023年に生まれた会社で、作っているのは「モデル専用集積回路」と呼ばれるチップです。
ふつうの GPU は、学習済みモデルの重みをメモリに置いて、計算のたびに読み出しては書き戻しています。
Taalas のやり方は、その重みを回路そのものに焼き込んでしまうというもの。
試作チップの HC1 は TSMC の6nmで作られ、Llama 3.1 8B を毎秒およそ1万7,000トークンで動かしたと報じられています。

もちろん引き換えもあります。
焼き込んだモデルしか動かせないので、モデルを変えるならチップを作り直すことになる。
それでも100を超える層のうち作り替えるのは2層ほどで、設計を固めてから製造に回すまで2か月程度だといいます。
AMD の AI 担当上級副社長 Vamsi Boppana 氏は、あらゆる AI の仕事に合った計算資源を選べる全部入りの基盤を作っている、という趣旨のコメントを出しています。

チップの話は遠く聞こえますが、行き着く先は推論の値段です。
同じ問い合わせに答えるのに必要な電気代が下がれば、サイトに置いたチャットや要約の機能を使い続けやすくなる。
モデルを固定して安く速く回す道具が増えるのは、毎日AIを使って運用している側にとっては悪い話ではないと思う。
新しい道具が出るたびに乗り換えるのではなく、今の使い方がどれだけ費用に効いているかを先に把握しておきたいところです。