14MBの小型エージェントLLM「Needle 2」登場
원제: Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
왜 중요한가
IoT・ウェアラブル・ロボット向けに14MBで動作するエージェントLLMの登場は、GPU非搭載の低価格エッジデバイスへのAI普及を加速させる可能性を示す。
Cactus Computeは2025年、スマートホーム・ウェアラブル・ロボット向けに特化した45Mパラメータの小型LLM「Needle 2」を公開した。モデルサイズはわずか14MB、セッション実行時のRAM使用量は28MBで、Raspberry Pi 5にて500トークン/秒のデコード速度を達成。Apache 2.0ライセンスで公開されている。
Cactus Computeが発表した「Needle 2」は、ツール呼び出し・デバイス操作・構造化データ抽出に特化した45Mパラメータの小型LLMである。モデル全体が単一の14MBバイナリとして提供され、セッション全体を28MBのRAMで実行できる。
技術面では、同社の「Simple Attention Network」の研究成果をベースに、独自量子化手法「Cactus Quants」によるCQ2ビット圧縮を適用し、専用エンジンに統合している。性能面では、Raspberry Pi 5で500トークン/秒以上のデコード速度、Meta Quest 3SやApple Vision Proなど400〜1,500トークン/秒、Samsung Aシリーズなど200ドル以下のスマートフォンでは300〜700トークン/秒を達成した。さらに、ESP32-S3などの新世代マイクロコントローラ上での動作も可能としている。
ベンチマーク「Mobile-Actions」では、FunctionGemma 270M、LFM2.5 230M、Apple FMといった競合小型モデルと比較して、パラメータ数で5〜70倍小さく、精度面でも競争力のある結果を示した。
同社は、世界に210億台以上存在するIoTデバイスの大半はGPUやNPUを持たない低価格ハードウェアであるとし、「エッジAIの対象はMacやPCではなく200ドル以下の機器であるべき」という思想のもと開発を進めている。モデルの重みはHugging Faceで公開されており、ライセンスはApache 2.0。