2.78兆パラメータモデルをRAM 29GBで動作させるエンジン公開
原題: Run Kimi K3 using 29 GB of RAM at 0.50 tok/s
なぜ重要か
超大規模MoEモデルを高価なGPUサーバーなしにコンシューマー機で実行できる手法は、ローカルAI推論の普及と研究アクセスのハードル低下に直結する。
GitHubユーザーのsqliteaiは、Moonshot AIの大規模言語モデル「Kimi K3」（2.78兆パラメータ）を29GBのRAMで動作させるC言語製推論エンジン「WASTE（Weight-Aware Streaming Tensor Engine）」をApache 2.0ライセンスでオープンソース公開した。NVMeストレージから必要な重みを直接ストリーミングすることで、モデル全体をメモリに載せずに推論を実現する。
sqliteaiが公開した「WASTE」は、2.78兆パラメータを持つKimi K3モデルを、コンシューマー向けラップトップで動作させることを目的としたC言語製の推論エンジンだ。最大の特徴は、NVMeストレージからアクティブ化された重み（Activated Weights）をリアルタイムにストリーミングする仕組みにある。これにより、モデル全体を一度にメモリに展開することなく推論が可能となる。
リポジトリに掲載されているデモでは、64GBのRAMを搭載したシステム上で46.24GBを使用し、0.51トークン／秒の速度でKimi K3が動作している。別の構成では最小29GBのRAMで動作可能としており、エキスパートキャッシュのヒット率は約14%と示されている。
WASTEはサードパーティのランタイム依存がなく、組み込み可能な設計となっている。ライセンスはApache 2.0で、リポジトリにはCLIツール、サーバー機能、各種ツールやテストが含まれており、GitHub上ではすでに374スターを獲得している。
Mixture-of-Experts（MoE）アーキテクチャを採用するKimi K3のような超大規模モデルは、通常数百GBのVRAMやRAMを必要とするため、コンシューマー向けハードウェアでの実行は困難とされていた。WASTEはストレージからの重みストリーミングによりこの制約を緩和するアプローチを取っている。