Xiaomi、1兆パラメータモデルで毎秒1000トークン生成を達成

Xiaomiは大規模言語モデルMiMo-v2.5-Pro-UltraSpeedを発表し、1兆パラメータモデルで初めて毎秒1000トークンの生成速度を達成したと明らかにした。最大約1200トークン/秒まで到達可能で、TileRTとの協業により実現した。

API提供は6月9日から23日まで限定で実施される。価格は通常のMiMo-v2.5-Proの3倍だが、生成速度は約10倍向上した。高速推論リソースが限定的なため、申請制での提供となり、企業や専門開発者を優先して承認する。承認されたユーザーは試行期間中、無料でチャット機能も利用可能だ。

Xiaomiは毎秒1000トークンの実現について、単なる高速化ではなくAI応用のパラダイムシフトだと説明した。従来は1つの回答を待つしかなかったが、同じ時間で数十の推論パスを並列実行でき、自動検証と自己修正により推論品質が向上する。コーディングエージェントの生産性上限も解放され、リアルタイム意思決定ループへの参入が可能になるとしている。

医療分野では手術支援や画像解析での応用も期待されており、病変分析や危険予測の完了時間短縮が外科医により多くの時間を提供すると説明した。