Needle 2：14MBのエージェントLLM、IoT向け公開
Judul asli: Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
Mengapa Ini Penting
210億台超のIoTデバイス市場に向け、超小型オープンLLMの実用化が加速する可能性を示す事例。
Cactus Computeは45Mパラメータ・14MBの小型LLM「Needle 2」をApache 2.0ライセンスで公開。Raspberry Pi 5で500トークン/秒、RAM28MBで動作する。
Cactus Computeは、スマートホーム・ウェアラブル・ロボット・スマートフォン向けに設計されたエージェントLLM「Needle 2」を公開した。モデルは45Mパラメータ、ファイルサイズ14MB、セッション時のピークRAMは28MBで、ESP32-S3などの小型マイコンでも動作可能。独自の「Simple Attention Network」研究をベースに、CQ2ビット量子化で圧縮されている。
Raspberry Pi 5ではプリフィル800トークン/秒以上、デコード500トークン/秒以上を達成。Meta Quest 3SやApple Vision Proでは400〜1,500トークン/秒、200ドル以下のSamsung Aシリーズでは300〜700トークン/秒で動作する。
Mobile-Actionsベンチマークでは、FunctionGemma 270M、LFM2.5 230M、Apple FMと同等の精度を5〜70倍小さいサイズで達成。同社は「照明をオンにするためにフロンティアモデルは不要。45Mパラメータで十分」と説明している。ツール呼び出し・構造化出力・デバイス制御に特化し、スキーマからバイトレベルの文法を生成してトークンを制約する。モデルの重みはHugging Faceで公開、ライセンスはApache 2.0。