PrismML के छोटे LLM अब स्मार्ट चश्मे में
मूल शीर्षक: PrismML brings its tiny LLMs to Qualcomm-powered smart glasses
यह क्यों महत्वपूर्ण है
on-device tiny LLM का चश्मे जैसे wearables में आना edge AI के लिए बड़ा कदम है।
AI स्टार्टअप PrismML ने Qualcomm के Snapdragon AR1 Gen 1 Platform पर चलने वाला 2 अरब-parameter का Bonsai LLM पेश किया, जो मॉडल को 4x सिकोड़ता है पर प्रदर्शन लगभग बरकरार रखता है।
Caltech के शोधकर्ताओं द्वारा स्थापित और UC Berkeley के Ion Stoica द्वारा सलाह प्राप्त AI लैब PrismML ने बुधवार को Qualcomm के Snapdragon Summit में अपना 1-bit Bonsai LLM प्रदर्शित किया। यह मॉडल Snapdragon AR1 Gen 1 Platform पर आधारित AI स्मार्ट चश्मों पर सीधे डिवाइस में चल सकता है — यानी क्लाउड की जरूरत नहीं।
यह 2 अरब-parameter का मॉडल vision और language दोनों के लिए तैयार किया गया है, जिससे पहनने वाले रियल टाइम में पूछ सकते हैं कि वे क्या देख रहे हैं। PrismML की खासियत है कि यह बड़े मॉडलों को 4 गुना छोटा कर देता है, फिर भी standard benchmarks पर प्रदर्शन लगभग उतना ही रहता है।
कंपनी का बड़ा लक्ष्य open-weight AI बनाना है जो डिवाइसों पर चले और उनकी मौजूदा computing शक्ति का बेहतर उपयोग हो। PrismML इसे proprietary AI labs की privacy प्रतिज्ञाओं और उनकी बढ़ती compute भूख का विकल्प बताता है। हालांकि, अभी तक किसी भी स्मार्ट चश्मे निर्माता ने PrismML को अपने उत्पाद में शामिल करने की घोषणा नहीं की है।