14MBの軽量LLM「Needle 2」がウェアラブルやロボット向けに公開
原題: Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
なぜ重要か
210億台超のIoTデバイス市場向けに超軽量なオンデバイスAIを実現する技術として、低コストエッジデバイスへのAI普及を加速する可能性がある。
Cactus Computeは、スマートフォン・ウェアラブル・スマートホーム・ロボット向けの軽量LLM「Needle 2」を公開した。パラメータ数4500万、ファイルサイズ14MB、セッションRAM使用量28MBで動作し、Raspberry Pi 5で毎秒500トークン以上のデコード速度を達成。Apache 2.0ライセンスでHugging Faceにて重みを公開している。
Cactus Computeは、エッジデバイス向けのエージェント型LLM「Needle 2」をリリースした。パラメータ数4500万、ファイルサイズ14MBという小型モデルながら、ツール呼び出し・デバイス操作・構造化データ抽出に対応する。
同モデルは「Simple Attention Network」の研究成果をベースに開発され、独自の「Cactus Quants」による CQ2ビット量子化と専用エンジンを組み合わせている。セッションのピークRAM使用量は28MBで、ESP32-S3などの新世代マイクロコントローラでの動作も可能としている。
処理速度はRaspberry Pi 5でプリフィル800トークン/秒以上、デコード500トークン/秒以上を実現。Meta Quest 3SやApple Vision ProなどのVRデバイスでは400〜1500トークン/秒、200ドル以下のSamsung Aシリーズなどのスマートフォンでは300〜700トークン/秒で動作するとしている。
ベンチマークでは、Mobile-Actions評価（961件）においてFunctionGemma 270M、LFM2.5 230M、Apple FMなどの小型モデルと同等水準の性能を示しており、それらのモデルに対してパラメータ数で5〜70倍小さく、精度はf16に対しCQ2ビットという条件での結果となっている。
Cactus Computeは、現在のエッジAIがMacやPCに偏っていると指摘。世界の接続済みIoTデバイスは約210億台に対しPCは約15億台であり、新興市場では200ドル以下のスマートフォンが主流であることから、GPUやNPUを持たない低コストデバイスをターゲットとした設計方針を採用したと説明している。
モデルは、宣言済みスキーマからバイトレベルの文法を生成してトークンを制約する仕組みを採用しており、出力フォーマットを契約として強制する設計となっている。また各レスポンスには学習済みの信頼スコアが付与され、エッジとクラウドの協調動作にも対応する。
Needle 2はApache 2.0ライセンスで公開されており、重みはHugging Faceで入手可能。公式サイトではWebAssemblyを用いたブラウザ上でのサンドボックス動作も提供されている。