Cerebras Jelaskan Cara Deploy Model AI 3 Triliun Parameter
Judul asli: Cerebras Deploys Trillion-Parameter AI Models
Mengapa Ini Penting
Transparansi teknis ini menunjukkan pendekatan hardware Cerebras bisa bersaing untuk inferensi model frontier skala besar.
Cerebras menggunakan 59 chip WSE-3T untuk menjalankan Kimi K3 berkapasitas 3 triliun parameter pada kecepatan 1.000–2.000+ token per detik.
Cerebras memaparkan secara teknis cara mereka menjalankan model AI skala frontier di atas chip wafer-scale milik mereka. Satu chip WSE-3T hanya memiliki 44 GB memori on-chip, jauh di bawah kebutuhan model raksasa seperti Kimi K3 yang memerlukan terabyte hanya untuk bobot parameternya.
Sebagai contoh ilustrasi, Cerebras menggunakan Kimi K3 — model open source besutan Moonshot AI dengan ~3 triliun parameter, terdiri dari 69 layer linear-attention dan 24 layer dense. Model ini mencetak 88,3% di Terminal-Bench 2.1 dan 91,2% di BrowseComp, melampaui GPT-5.6 Sol di benchmark terakhir.
Dengan kuantisasi bobot 4-bit dan KV cache 8-bit, total bobot model mencapai 1,5 TB. Dibagi 93 layer, setiap layer berukuran sekitar 16 GB. Layer dense membutuhkan satu wafer penuh (karena menyimpan KV cache per token), sementara dua layer linear muat dalam satu wafer. Hasilnya: 24 wafer untuk dense layer dan 35 wafer untuk linear layer — total 59 wafer.
Antar-wafer dihubungkan via RDMA over Ethernet dengan latensi sekitar 2 mikrodetik per lompatan. Yang penting, bobot model tidak pernah berpindah — hanya aktivasi yang mengalir antar chip, mirip lini perakitan. Pendekatan pipeline ini memungkinkan banyak permintaan berjalan serentak tanpa bottleneck.