LongCat-2.0公開、1.6T総パラメータのMoEモデル
原題: LongCat-2.0, a large-scale MoE model with 1.6T total and 48B Active
なぜ重要か
MoEモデルの大規模化競争が進む中、1.6T規模での実装例は業界のスケーリング手法の発展を示唆し、効率的なAI推論インフラの構築に関する技術的知見をもたらす。
LongCat-2.0は、総パラメータ数1.6兆、アクティブパラメータ480億のMoE（混合専門家モデル）言語モデルが公開された。このモデルは大規模なパラメータを持ちながら、効率的な推論を実現する設計となっている。具体的な公開日時と詳細な性能指標は公式ブログで発表されている。
LongCat-2.0は、大規模言語モデルの開発を手がけるLongCatプロジェクトによって発表された新型MoEモデルである。総パラメータ数は1.6兆に達し、そのうちアクティブパラメータは480億となっている。MoE（Mixture of Experts）アーキテクチャを採用することで、すべてのパラメータを毎回の推論に使用するのではなく、必要な専門家ネットワークのみを選択的に活用する仕組みになっている。これにより、大規模なモデルサイズを保ちながら、推論コストと計算量を削減することが可能になる。公式ブログの発表によれば、LongCat-2.0は複数の言語タスクおよび長文コンテキスト処理に対応するよう設計されている。このモデルは、AI企業や研究機関が大規模言語モデルの性能と効率のバランスを取る際の新しい選択肢となることが期待されている。MoEアーキテクチャは近年、GPT-4やLlamaなど主流のモデルでも採用されており、スケーラビリティと実用性を両立させるための重要な技術トレンドとなっている。