PrismML Bawa LLM Mini ke Smart Glasses Qualcomm
Judul asli: PrismML brings its tiny LLMs to Qualcomm-powered smart glasses
Mengapa Ini Penting
AI on-device di wearable membuka persaingan baru antara privasi lokal vs cloud.
PrismML memperkenalkan model bahasa 1-bit Bonsai LLM berparameter 2 miliar untuk smart glasses berbasis chip Snapdragon AR1 Gen 1 di ajang Snapdragon Summit, Rabu (24/9).
PrismML, startup AI yang didirikan peneliti Caltech dan mendapat bimbingan Ion Stoica dari UC Berkeley, mengumumkan versi model bahasanya yang dirancang khusus untuk smart glasses bertenaga chip Qualcomm. Di ajang Snapdragon Summit, Qualcomm memamerkan Bonsai LLM versi 1-bit dari PrismML — sebuah model 2 miliar parameter yang dioptimalkan untuk visi dan bahasa, memungkinkan pengguna bertanya tentang apa yang mereka lihat secara real time.
Keunggulan utama PrismML adalah kemampuannya memampatkan model besar hingga 4 kali lebih kecil tanpa kehilangan performa signifikan pada tolok ukur standar. Model berjalan sepenuhnya secara lokal di perangkat, tanpa ketergantungan pada server cloud.
Startup ini memposisikan pendekatannya sebagai alternatif dari ketergantungan pada janji privasi lab AI proprietari yang terus membutuhkan daya komputasi besar. Meski demikian, belum ada produk smart glasses yang menggunakan PrismML yang diumumkan secara resmi hingga saat ini.