8〜29MBの超軽量モデル「Needle 3」がDeepSeek V4 Flashに匹敵
原題: Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 Flash
なぜ重要か
クラウド不要のオンデバイスAI需要が急拡大する中、10分の1以下のサイズで競合モデルと同等の実用精度を示した点は、エッジAI市場の競争軸を変えうる。
Cactus Computeは2025年、モバイル・ウェアラブル・ロボット・マイコン向け基盤モデル「Needle 3」を公開した。モデルサイズはわずか8〜29MBで、独自のSimple Attention Networkを採用。4層（4L）のサブネットワークをファインチューニングした場合、DeepSeek V4 Flashに匹敵するツール呼び出し性能を達成したと発表している。
Cactus Computeが公開した「Needle 3」は、エッジデバイス向けに特化した超小型基盤モデルだ。単一のバイナリファイルで8〜29MBという圧倒的な軽さを実現しており、スマートホーム、ロボット、スマートフォン、ウェアラブル、ARグラス、車載システム、PCなど幅広いプラットフォームでの動作を想定している。
アーキテクチャの核心は「Intelligence Laddering」と呼ぶ設計思想で、2層から20層までの各サブネットワークが独立したモデルとして機能する。開発者はタスクの要件に応じて最適なサイズを選択可能だ。パラメータ数は29〜121Mで、CQ2ビット量子化によって軽量化を実現。Raspberry Pi 5上でのデコード速度は400〜4,000トークン/秒、プリフィルは1,000〜10,000トークン/秒に達するという。
同社の公式発表によると、Cactus Platform上でファインチューニングした4L（4層）モデルが、モバイルツール呼び出しタスクにおいてDeepSeek V4 Flashを上回る結果を1エポックで達成した。また一般的なベンチマークでは、自身の2〜3倍のサイズのモデルに匹敵する構造化抽出性能を示している。
機能面では三本柱を打ち出している。第一は「Tool Calls」で、ユーザーの発話から適切なAPIを選び、引数を自動補完する。例えば「寝室を暗くして玄関を施錠して」という指示を2つの個別コマンドに分解し、オフラインで実行する。第二は「Structured Extraction」で、宣言したスキーマに従いテキストをJSON形式に変換。デコード文法によって出力の整合性を保証する。第三は「Text Embedding」で、同一のモデルウェイトでセマンティック検索やツールのマッチングも行える。
モデルの学習には独自の構造化データセット360Bトークンが用いられており、GitHubスターは4,200以上を獲得している。