Bonsai 27B:スマホで動く27Bモデル登場
원제: Bonsai 27B: A 27B-Class model that runs on a phone
왜 중요한가
27Bクラスの推論・エージェント能力がスマートフォン上で動作可能になったことで、オンデバイスAIの実用範囲が大幅に拡大する。
PrismMLは2026年7月14日、Qwen3.6 27Bをベースにしたオンデバイス向け大規模言語モデル「Bonsai 27B」を発表した。1ビット版は3.9GBとiPhone 17 Proのメモリ内で動作し、27Bクラスのモデルがスマートフォン上で初めて実行可能となった。Apache 2.0ライセンスで即日公開。
PrismMLが発表した「Bonsai 27B」は、三値(Ternary)と1ビットの2バリアントを持つマルチモーダルモデルだ。通常、27Bモデルは16ビット精度で約54GB、4ビット量子化でも18GBを占有するため、スマートフォンや多くのラップトップへの展開は困難だった。
Ternary Bonsai 27Bは重みに{−1, 0, +1}を使用し、実効1.71ビット/重みで5.9GB。ラップトップ向けの品質重視バリアントで、推論・ツール呼び出し・エージェント機能をフルサポートする。1ビット Bonsai 27Bは{−1, +1}の2値重みで実効1.125ビット/重み、3.9GBを実現。iPhone 17 Proのメモリ予算内に収まる。
両バリアントとも言語ネットワーク全体(埋め込み・Attention・MLP・LMヘッド)を低ビット表現で処理し、高精度への「逃げ道」は設けない。ビジョンタワーは4ビット形式で搭載し、スクリーンショット・文書・カメラ入力も処理可能。コンテキスト長は262,000トークン、Speculative Decodingにも対応する。
15ベンチマークの総合スコアでは、Ternary版がフル精度ベースラインの95%、1ビット版が90%を保持。特に数学(GSM8K等)やコーディング(HumanEval+等)の性能劣化は最小限で、エージェント用途に重要なツール呼び出しも数ポイント以内の差に収まっている。知識密度(Intelligence Density)は1ビット版でGB当たり0.53を達成し、フル精度比の10倍以上、最良の低ビット代替手法の約2.7倍となっている。