14MBの小型AI「Needle 2」、スマートデバイス向けにリリース
मूल शीर्षक: Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
यह क्यों महत्वपूर्ण है
GPU・NPUなしの低価格デバイスでエージェントAIを実現する手法として、エッジAI分野の新たな方向性を示す事例となっている。
Cactus Computeは、45Mパラメータ・14MBのエージェント型言語モデル「Needle 2」を公開した。Apache 2.0ライセンスで、スマートフォン、ウェアラブル、ロボット、スマートホームなどの低コストデバイスでの動作を目的として設計されている。
Cactus Computeが公開した「Needle 2」は、45Mパラメータで構成される小型のエージェント型LLMである。モデル全体は単一の14MBバイナリとして提供され、1セッションあたり最大28MBのRAMで動作する。
技術的には、同社が開発した「Simple Attention Network」の知見をもとに構築され、独自の「Cactus Quants」によってCQ2ビット量子化が施されている。ベンチマークでは、FunctionGemma 270M、LFM2.5 230M、Apple FMといった他の小型モデルと同等の性能を示しつつ、5倍から70倍小さいサイズを実現している。
動作速度については、Raspberry Pi 5で500トークン/秒のデコード速度、Meta Quest 3SやApple Vision Proなどのデバイスで400〜1,500トークン/秒、Samsung A-Seriesなど200ドル以下のスマートフォンで300〜700トークン/秒を達成している。また、ESP32-S3などの新しいマイクロコントローラー上での動作も可能としている。
Needle 2の主な用途は、ツール呼び出し（Function Calling）、デバイス操作、構造化データ抽出の3分野。スキーマをインターフェースとして使用し、バイトレベルの文法制約によりすべての出力トークンを制御する仕組みを採用している。また、各応答には信頼度スコアが付与され、対応範囲外のリクエストには空のコールを返す設計になっている。
モデルの重みはHugging Faceで公開されており、ライセンスはApache 2.0。同社は世界に210億台以上存在するIoTデバイスや新興市場の低価格スマートフォンをターゲット市場として位置付けている。