Bonsai 27B: स्मार्टफोन पर चलने वाला 27B मॉडल
मूल शीर्षक: Bonsai 27B: A 27B-Class model that runs on a phone
यह क्यों महत्वपूर्ण है
27B-क्लास AI मॉडल का on-device स्मार्टफोन पर चलना edge AI और privacy-first agentic computing के लिए एक महत्वपूर्ण तकनीकी मील का पत्थर है।
PrismML ने 14 जुलाई 2026 को Bonsai 27B लॉन्च किया। यह Qwen3.6 27B पर आधारित पहला 27B-क्लास मॉडल है जो iPhone 17 Pro पर चल सकता है। 1-bit वेरिएंट मात्र 3.9 GB और Ternary वेरिएंट 5.9 GB में उपलब्ध है। लाइसेंस Apache 2.0 है।
PrismML ने Bonsai 27B की घोषणा की है, जो Qwen3.6 27B पर आधारित एक multimodal मॉडल है। यह पहला 27B-क्लास मॉडल है जिसे स्मार्टफोन पर चलाया जा सकता है। सामान्यतः 27B मॉडल 16-bit precision में लगभग 54 GB लेता है और 4-bit बिल्ड भी 18 GB का होता है, जो फोन के लिए व्यावहारिक नहीं था।
Bonsai 27B दो वेरिएंट में उपलब्ध है:
**Ternary Bonsai 27B**: ternary {−1, 0, +1} weights के साथ 1.71 effective bits per weight, आकार 5.9 GB। यह laptop पर पूरी reasoning, tool-calling और agentic क्षमता के साथ चलता है।
**1-bit Bonsai 27B**: binary {−1, +1} weights के साथ 1.125 effective bits per weight, आकार 3.9 GB। यह iPhone 17 Pro की memory में फिट होता है।
दोनों वेरिएंट multimodal हैं, vision tower 4-bit में उपलब्ध है जो screenshots, documents और camera input को process कर सकता है। मॉडल 262K-token context और speculative-decoding को सपोर्ट करता है।
Benchmark प्रदर्शन के अनुसार, Ternary Bonsai 27B full-precision baseline का 95% और 1-bit Bonsai 27B 90% प्रदर्शन बनाए रखता है। Math और coding में प्रदर्शन लगभग अपरिवर्तित है। Intelligence density के मामले में 1-bit Bonsai 27B 0.53 per GB प्रदान करता है, जो full-precision baseline से 10x अधिक है। सर्वश्रेष्ठ low-bit विकल्प की तुलना में यह 2.5x कम memory में बेहतर प्रदर्शन करता है। सभी weights embeddings, attention, MLPs और LM head में low-bit representation में चलती हैं।