Cerebras、兆パラメータAIを59枚のチップで稼働
原題: Cerebras Deploys Trillion-Parameter AI Models
なぜ重要か
ウェーハスケール分散推論の手法を公開することで、GPU主流のLLMインフラに対するASICベースの代替アーキテクチャとしての具体性が増す。
Cerebras社は2026年10月22日、WSE-3Tウェーハスケールチップを用いて兆パラメータ規模のフロンティアモデルを展開する手法を公式ブログで公開した。約3兆パラメータのオープンソースモデル「Kimi K3」を具体例として、59枚のWSE-3Tウェーハで毎秒1,000〜2,000トークン以上の推論を実現できることを示した。
Cerebrasが公式ブログで明かした技術的詳細によると、WSE-3Tウェーハ1枚のオンチップSRAMは44GBだが、3兆パラメータモデルの重みだけでテラバイト単位のメモリが必要となる。この課題を解決するため、同社はモデルを複数のウェーハにまたがってパイプライン分散配置する方式を採用している。
具体的な計算ではこうなる。Kimi K3の3兆パラメータを4ビット量子化で格納すると総重みは約1.5TBとなり、93層で割ると1層あたり約16GBになる。44GBのウェーハには、KVキャッシュが不要な線形アテンション層であれば2層、フルアテンションのDense層はKVキャッシュ領域を確保するため1層のみ配置できる。Kimi K3の線形層69本は35枚、Dense層24本は24枚のウェーハを使い、合計59枚で全モデルをカバーできる。
推論時はウェーハ間を「アセンブリライン」に見立て、各ウェーハに重みを常駐させたまま活性化値のみを次段に転送する。ウェーハ間通信はRDMA over Ethernetを使い、1ホップあたり約2マイクロ秒。重みの移動が不要なため、超低レイテンシを実現できると同社は説明する。多数の同時リクエストは、パイプライン内を複数リクエストが並行して「流れる」ことで処理効率を維持する仕組みだ。
Kimi K3はTerminal-Bench 2.1で88.3%（GPT-5.6 Sol比較：88.8%）、BrowseCompで91.2%（同90.4%）を記録しており、コーディングやエージェント系タスクの一部では主要プロプライエタリモデルを上回る。同社はこの結果をオープンソースモデルの有効性の証左として示している。