GLM-5.2(744B)を25GBのPCで動かす
मूल शीर्षक: Show HN: Getting GLM 5.2 running on my slow computer
यह क्यों महत्वपूर्ण है
大規模MoEモデルをディスクストリーミングで一般PCに展開する手法は、ローカルAI推論の民主化において重要な技術的進展です。
開発者JustVuggが、744BパラメータのMoEモデルGLM-5.2をRAM約25GBの一般消費者向けPCで動作させるオープンソースエンジン「colibri」をGitHubで公開した。純粋なC言語で実装され、外部依存なし。
GitHubユーザーJustVuggが公開した「colibri」は、Zhipu AIのGLM-5.2（744Bパラメータ、Mixture-of-Expertsアーキテクチャ）を、約25GBのRAMを搭載した一般向けPCで実行可能にする推論エンジンです。
技術的な仕組みとして、744BパラメータのMoEモデルはトークンごとに約40Bのパラメータしかアクティブにしないという特性を活用しています。Attention層・共有Expert・Embeddingなどの「密な部分」（約17Bパラメータ）はint4量子化でRAMに常駐（約9.9GB）させ、21,504個のルーティングExpert（75のMoE層 × 256 Expert＋MTPヘッド、各約19MB）はディスク上（合計約370GB）に保存し、必要に応じてストリーミングで読み込む方式を採用しています。
レイヤーごとのLRUキャッシュも実装されており、ディスクアクセスを最小化する工夫がされています。起動時間は約32秒、常駐メモリは9.9GBと報告されています。
実装は純粋なC言語で書かれており、外部ライブラリへの依存がゼロであることも特徴です。GitHub上ですでに837スターを獲得しており、コミュニティからの注目を集めています。ライセンスはApache-2.0です。