Cerebras ने Trillion-Parameter AI Model Deploy किया
मूल शीर्षक: Cerebras Deploys Trillion-Parameter AI Models
यह क्यों महत्वपूर्ण है
यह खुलासा दिखाता है कि Wafer-Scale Hardware बड़े Open Source Models को High-Speed Inference के लिए व्यावहारिक रूप से Deploy करने में सक्षम है।
Cerebras ने बताया कि वे Kimi K3 जैसे ~3 Trillion Parameter वाले AI Model को 59 WSE-3T Wafers पर Pipeline के ज़रिए 1000-2000+ Tokens/सेकंड की गति से Deploy करते हैं।
Cerebras ने अपने Blog Post में विस्तार से समझाया कि वे अपने WSE-3T Wafer-Scale Chips पर Trillion-Parameter Frontier Models कैसे चलाते हैं। एक अकेले WSE-3T Wafer में 44 GB On-Chip SRAM होती है, जबकि Trillion-Parameter Models के Weights के लिए Terabytes की ज़रूरत पड़ती है। इसलिए Model को कई Wafers में बाँटा जाता है।
उदाहरण के तौर पर Kimi K3 को लिया गया, जो एक Open Source Model है जिसमें ~3 Trillion Parameters, 69 Linear-Attention Layers और 24 Dense Layers हैं। Terminal-Bench 2.1 पर इसका Score 88.3% है, जबकि GPT-5.6 Sol का 88.8% है। BrowseComp पर यह 91.2% लाता है, जो GPT-5.6 Sol के 90.4% से अधिक है।
4-bit Weight Quantization के साथ प्रत्येक Layer का आकार लगभग 16 GB निकलता है। Dense Layers को KV Cache के लिए अतिरिक्त जगह चाहिए, इसलिए प्रति Wafer एक Dense Layer रखी जाती है। Linear-Attention Layers में Fixed-Size State होती है, इसलिए एक Wafer पर दो Linear Layers फिट होती हैं। इस गणना से Kimi K3 के लिए कुल 35 + 24 = 59 Wafers की ज़रूरत पड़ती है।
Wafers के बीच सिर्फ Activations को RDMA over Ethernet से भेजा जाता है, जिसमें प्रति Hop लगभग 2 Microseconds लगते हैं। Model Weights कभी Move नहीं होते — वे अपने-अपने Wafer पर स्थिर रहते हैं। यह Pipeline Architecture एक Assembly Line की तरह काम करती है, जिसमें हर Wafer एक Stage की भूमिका निभाता है।