PrismML、Qualcomm製スマートグラスに小型LLMを搭載
मूल शीर्षक: PrismML brings its tiny LLMs to Qualcomm-powered smart glasses
यह क्यों महत्वपूर्ण है
स्मार्ट ग्लासेस पर on-device LLM चलाना edge AI की एक अहम दिशा है, जो cloud पर निर्भरता और privacy चिंताओं दोनों को कम कर सकती है।
AI स्टार्टअप PrismML ने Qualcomm के Snapdragon AR1 Gen 1 Platform पर चलने वाले स्मार्ट ग्लासेस के लिए अपना 1-bit Bonsai LLM पेश किया। 24 सितंबर को Snapdragon Summit में इसे प्रदर्शित किया गया। यह 2 अरब पैरामीटर का मॉडल है जो vision और भाषा दोनों के लिए ट्यून किया गया है।
Caltech के शोधकर्ताओं द्वारा स्थापित और UC Berkeley के Ion Stoica द्वारा सलाहकार के रूप में समर्थित AI लैब PrismML ने Qualcomm के Snapdragon चिप्स पर आधारित स्मार्ट ग्लासेस के लिए अपने छोटे भाषा मॉडल का एक संस्करण तैयार किया है। Qualcomm ने अपने Snapdragon Summit में PrismML के 1-bit Bonsai LLM को प्रदर्शित किया, जो Snapdragon AR1 Gen 1 Platform पर स्थानीय रूप से (locally) चल सकता है।
PrismML की खासियत यह है कि यह बड़े मॉडलों को 4 गुना तक संकुचित करता है, फिर भी मानक benchmarks पर उनकी लगभग पूरी कार्यक्षमता बनाए रखता है। स्मार्ट ग्लासेस वाला यह संस्करण 2 अरब पैरामीटर का मॉडल है जो vision और भाषा के लिए ट्यून किया गया है — यानी पहनने वाला real time में यह पूछ सकता है कि वे क्या देख रहे हैं।
कंपनी का बड़ा लक्ष्य open-weight AI है जो डिवाइस पर चले और उनकी मौजूदा computing शक्ति का बेहतर उपयोग करे। PrismML इसे proprietary AI लैब्स पर निर्भरता और उनकी बढ़ती compute जरूरतों के विकल्प के रूप में प्रस्तुत करता है। हालांकि, अभी तक किसी भी स्मार्ट ग्लास निर्माता ने PrismML के साथ उत्पाद लॉन्च की घोषणा नहीं की है।