Cerebras、Qwen 3.8 27Bを毎秒1500トークンで提供開始
原題: Qwen 3.8 27B available on Cerebras at 1500 tokens/s
なぜ重要か
毎秒1,500トークン超の高速推論により、270億パラメータ級モデルのリアルタイム応用が商用レベルで現実的になりつつある点が注目される。
Cerebrasは推論プラットフォームにQwen 3.8 27B（モデルID: qwen-3.8-27b、270億パラメータ）を追加した。コンテキスト長は無料プランで64,000トークン、有料プランで128,000トークン。推論速度は毎秒約1,500トークンで、無料トライアルおよび従量課金プランの両方で利用可能。
Cerebrasは公式推論ドキュメントのモデルカタログを更新し、Qwen 3.8 27Bを新たに追加した。同モデルのモデルIDは「qwen-3.8-27b」で、パラメータ数は270億。推論速度は毎秒約1,500トークンを実現しており、ストリーミングレスポンス、構造化出力、ツールコーリング、プロンプトキャッシングなどの機能に対応する。
現在カタログで公開されているもう一方のモデル「OpenAI GPT OSS（gpt-oss-120b）」は1,200億パラメータで毎秒約3,000トークンの速度を持ち、コンテキスト長は最大131,000トークン（有料プラン）となっている。
圧縮ポリシーについて同社は透明性を強調しており、公開エンドポイントで提供するモデルはすべてプルーニング（枝刈り）を行っていない元のオープンソースモデルであると説明している。重みの保存時には選択的な量子化（16ビット／8ビット／4ビット混在）を使用するが、推論時には高精度で演算を行い、アクティベーション・アテンション・KVキャッシュは量子化しないとしている。
また、同社が研究目的で開発したプルーニング技術「REAP（Router-weighted Expert Activation Pruning）」によるモデルはHugging Faceで公開されているものの、本番APIでは提供していないことも明記されている。追加モデルファミリーや予約容量・高スループット・本番SLAが必要なユーザー向けには「Dedicated Endpoints」が用意されている。