LongCat-2.0: Model MoE Berskala Besar dengan 1.6T Total
Judul asli: LongCat-2.0, a large-scale MoE model with 1.6T total and 48B Active
Mengapa Ini Penting
Kemajuan dalam arsitektur MoE menunjukkan tren industri menuju model yang lebih efisien dan terukur, penting untuk demokratisasi akses AI.
LongCat meluncurkan LongCat-2.0, model bahasa berarsitektur Mixture of Experts (MoE) dengan total parameter 1.6 triliun dan 48 miliar parameter aktif. Model ini dirancang untuk meningkatkan efisiensi komputasi dan kinerja pemrosesan bahasa alami dalam skala besar.
LongCat-2.0 merupakan pengembangan terbaru dari keluarga model bahasa LongCat yang menggunakan arsitektur Mixture of Experts (MoE). Dengan total 1.6 triliun parameter namun hanya mengaktifkan 48 miliar parameter selama inferensi, model ini dirancang untuk mencapai efisiensi komputasi yang lebih tinggi dibandingkan dengan model dense tradisional dengan ukuran serupa. Arsitektur MoE memungkinkan model untuk secara selektif menggunakan subset parameter untuk setiap input, mengurangi beban komputasi tanpa mengorbankan kemampuan model. LongCat-2.0 dikembangkan dengan fokus pada peningkatan kualitas output sambil mempertahankan efisiensi biaya dan kecepatan inferensi. Model ini menargetkan aplikasi yang memerlukan pemrosesan bahasa dalam volume besar dengan latensi rendah.