Anthropic、自社チップの設計チームを立ち上げ——ハードとモデルを一緒に設計して速く動かす狙い

Anthropic が8月5日、自社でチップを設計するチームを立ち上げたことを認めました。
先に Business Insider が報じ、同社が TechCrunch に対して事実だと答えた形です。
求人票では「カスタムシリコンチーム」としてチップ設計の経験者を募っています。

狙いとして挙げられているのは、ハードウェアとモデルを一緒に設計することです。
モデルの計算の癖に合わせてチップ側を作れば、同じ処理をより速く、より少ない電力で回せる。
逆に、チップの得意な形に合わせてモデルを設計するという方向もあります。
どちらか一方を既製品として受け取るのではなく、両方を同時に動かせる立場を作りにいったということだと思う。

とはいえ、これで既存の調達がなくなるわけではありません。
Anthropic は AWS・Google・NVIDIA・AMD と計算資源の契約を結んでいて、自社設計はその上に積む話です。
OpenAI も推論向けの自社チップを進めており、モデルを作る会社が土台の金物まで手を伸ばす流れは、しばらく続きそうです。

私たち利用する側から見ると、これは値段の話に効いてきます。
AI を機能として組み込んだサイトを運用していると、月々のトークン代がそのまま運用費に乗ってくる。
推論が安く速くなるかどうかは、来年どこまでAIを使えるかの上限を静かに決めていきます。
今のうちに何にいくら使っているかを月単位で押さえておくと、値下げや乗り換えの判断が数字でできるようになります。