5.4GBで動くInkling-2-Mini量子化ツール公開
原題: Inkling-2-Mini in 5.4 GB Memory
なぜ重要か
消費者向けハードウェアで大型モデルを動かせる量子化技術の改善は、ローカルAI推論市場の拡大に直結する。
個人開発者ShinMegamiBosonがGitHubに量子化コンパイラ「LookAtMyQuant」を公開した。同ファイルサイズでQ4_K_Mと比較してKLダイバージェンスを12倍削減できると主張。スター数424、フォーク数19を獲得しており、Inkling-2-MiniモデルをわずかA5.4GBのメモリで動作させられると説明している。
「LookAtMyQuant」はShinMegamiBosonというユーザーがGitHub上でMITライセンスで公開した量子化コンパイラだ。最大の訴求点は、既存の量子化方式Q4_K_Mと同等のファイルサイズを維持しつつ、KLダイバージェンス(元モデルとの出力分布のずれを示す指標)を12倍低減できるという点にある。
リポジトリ名「lookatmyquant」が示すように、プロジェクトはInkling-2-Miniを5.4GBのメモリに収めることを実演する形で構成されている。コードベースにはcompiler.py、gguf_compiler.py、row_allocation.pyなど量子化パイプライン全体を構成する多数のモジュールが含まれており、MLX向けランタイム(runtime_mlx)やModal上でのバッチ処理スクリプトも備える。数学ベンチマーク用スクリプト(math_bench.py、math_eval.py)も同梱されており、精度評価まで自己完結する設計だ。
公開から短期間でスター424件、フォーク19件を集めており、個人プロジェクトとしては注目度が高い。ただし、ベンチマーク結果の独立した第三者検証は現時点では確認されていない。Issues3件・Pull requests7件が開いており、コミュニティからのフィードバックも活発に動いている。
KLダイバージェンスの削減が実際にどの程度のタスク精度向上に結びつくかは、利用するモデルやタスクによって異なる。