GLM-5.2 744Bモデルを25GB RAMで動かすOSS「colibri」
Judul asli: Show HN: Getting GLM 5.2 running on my slow computer
Mengapa Ini Penting
超大規模MoEモデルをローカル・低コストハードウェアで動かす手法として、エッジAI推論の可能性を広げる事例。
開発者JustVuggが、744BパラメータのMoEモデルGLM-5.2をRAM約25GBの一般PCで動かすOSSエンジン「colibri」をGitHubで公開した。純粋なC言語製でゼロ依存。
JustVuggがGitHubで公開した「colibri」は、744Bパラメータを持つMixture-of-Experts（MoE）モデルGLM-5.2を、RAM約25GBの一般的な消費者向けPCで動作させる推論エンジンだ。実装は純粋なC言語で書かれており、外部依存ライブラリはゼロ。
技術的な核心は、MoEアーキテクチャの特性を活用した点にある。744Bパラメータのうち、1トークン処理時に実際に活性化するのは約40Bのみ。アテンション・共有エキスパート・埋め込み層など約17Bパラメータの「密集部分」をint4量子化（約9.9GB）でRAMに常駐させ、21,504個のルーティングエキスパート（約370GB相当）はディスクに格納して必要時にストリーミング読み込みする仕組みだ。レイヤーごとにLRUキャッシュを備え、起動から約32秒で利用可能になる。
リポジトリはGitHubで837スターを獲得（フォーク51件）しており、Apache-2.0ライセンスで公開されている。