744B MoEモデルをRAM25GBで動かす「colibri」
原題: Show HN: Getting GLM 5.2 running on my slow computer
なぜ重要か
数百GBのストレージとRAM25GBのみで744B超大規模モデルをローカル実行できる手法は、高性能ハードウェアを持たない開発者・研究者へのLLMアクセスを大幅に広げる可能性がある。
開発者のJustVugg氏がGitHubで公開した「colibri」は、744BパラメータのMixture-of-ExpertsモデルであるGLM-5.2を、約25GBのRAMを搭載した一般向けコンシューマーPCで動作させるエンジンだ。純粋なC言語で実装され、外部依存ゼロ。専門家（experts）をディスクからストリーミングする手法により、起動から32秒でチャットが可能となる。
「colibri」は、通常であれば膨大なVRAMやRAMを必要とする744BパラメータのMoEモデル「GLM-5.2」を、一般的なコンシューマー機で実行することを目的として開発されたオープンソースの推論エンジンだ。
技術的な核心は、MoEアーキテクチャの特性を巧みに利用した点にある。GLM-5.2は744Bパラメータを持つが、1トークン生成に際して実際に活性化されるのは約40Bパラメータのみとなる。さらに、トークンごとに切り替わるルーティング先の「routed experts」部分は約11GBに過ぎない。
colibriはこの特性を活かし、アテンション・共有エクスパート・埋め込みなどの「密」な部分（約17Bパラメータ、int4量子化で約9.9GB）をRAMに常駐させる一方、21,504個のrouted experts（75のMoEレイヤー×256エクスパートおよびMTPヘッド、各約19MB、合計約370GB）はディスク上に置き、必要に応じてストリーミングで読み込む方式を採用している。レイヤーごとにLRUキャッシュも実装されており、頻繁に使われるエクスパートは再読み込みを抑制できる。
実装はC言語のみで行われており、外部ライブラリへの依存はゼロ。起動時間は約32秒で、その後はチャットインターフェースが利用可能になる。GitHubではスター数837を記録（公開時点）しており、コミュニティから一定の注目を集めている。ライセンスはApache-2.0。