PrismML、27Bモデルを9分の1に圧縮

原題: Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint

なぜ重要か

27Bクラスの能力をほぼ損なわず6GB以下に収めたことで、高性能AIのエッジ・ローカル展開の現実的な選択肢が広がる。

PrismMLは2026年9月17日、三値重み({−1, 0, +1})を採用した「Ternary Bonsai 2 27B」をリリースした。Qwen3.8 27Bをベースに1.76実効ビット/重みで圧縮し、モデルサイズは5.9GBとフル精度比で9倍以上小型化。ベンチマーク総合スコアでは元モデルの98.2%を維持しており、Apache 2.0ライセンスで公開されている。

PrismMLが発表した「Ternary Bonsai 2 27B」は、Qwen3.8 27Bを三値重み(−1・0・+1)とFP16グループスケーリングを組み合わせて圧縮した27Bクラスのマルチモーダルモデルだ。有効ビット数は1.76bits/重みで、総モデルサイズはわずか5.9GB。フル精度版の53GB超と比べると、9倍以上の差がある。

約2ヶ月前に公開した初代Bonsai 27Bに続くリリースで、今回はベースモデルの強化と性能保持率の向上が主な改善点となる。総合ベンチマークスコアは83.9点で、フル精度のQwen3.8 27B(85.4点)に対して98.2%の保持率を達成した。

特筆すべきは、精度劣化の影響を受けやすい領域での数字だ。コーディング(81.58 vs 82.17)、数学(96.57 vs 97.06)、命令追従(82.66 vs 81.25でむしろ上回る)、ビジョン(78.59 vs 81.64)といった分野で差を最小限に抑えている。エージェント・ツール呼び出しでは77.57と元モデルの79.74より若干低いものの、許容範囲内に収まる。

262Kトークンのコンテキストウィンドウとテキスト・画像のマルチモーダル入力をサポートする。PrismMLは「多くの低ビット代替モデルはコーディング・ビジョン・エージェンシーで顕著な能力低下を伴う」と指摘した上で、Bonsai 2 27BがGB単位の知能密度でこのクラスの中で突出した位置にあると主張している。コーディングエージェントClineとの連携デモも公開された。

出典

prismml.com — 元記事を読む →