三値LLMの1.58ビット壁を突破
原題: Breaking the 1.58-bit Barrier for Ternary LLMs
なぜ重要か
エッジ・オンデバイス推論の普及に直結する圧縮技術で、再学習不要のまま実機スループットを最大1.28倍改善できる点が注目される。
Evangelos Georganas ら Intel 系研究者3名は2026年9月14日、三値 LLM（重みを{-1,0,+1}で表現するモデル）向けの新レイアウト「BITCOS」を arXiv に公開した。29モデルを実測し、ゼロ重みが最大51.5%に達することを発見。BITCOSは従来の5トリット/バイト方式を上回る圧縮率を29モデル中26モデルで達成し、最小1.485ビット/重みを実現した。
三値 LLM は重みを{-1,0,+1}の3値で保持するため、情報理論上の下限はlog₂3≈1.585ビット/重みとされてきた。実装では5つの三値重みを1バイトに詰め込む「5トリットパッキング」が標準で、実効コストは1.625ビット/重みに膨らむ。この方式は3シンボルが等確率と暗黙的に仮定しているが、著者らが29の三値 LLM モデルを実測したところ、ゼロ重みが最大51.5%を占めることが判明した。
この偏りに着目して提案されたのが BITCOS だ。構造はシンプルで、重みの「存在/不在」を示す密なビットマップと、符号のみを格納したベクターの2層構成。ゼロ密度をzとすると理論コストは(2-z)ビット/重みとなり、実測モデルの多くで5トリット方式を下回る。最もゼロが多いモデルでは1.485ビット/重みまで圧縮できた。
実用面では AVX-512・AVX2・Intel Xe2 GPU 向けの最適化アンパッキング命令列を設計し、既存の三値行列-ベクター積カーネルと比較して最大1.28倍の実効スループットを確認。エンドツーエンドの LLM 推論（クライアント/サーバー CPU・統合/離散 Xe2 GPU の計5プラットフォーム）では、デコードスループットが CPU で最大1.18倍、GPU で最大1.27倍向上した。既存モデルの重み分布という「実態」から出発した改善であり、再学習を要しない点も利点として挙げられる。