Kimi K3モデルを29GBのRAMで動作させるエンジン公開
Judul asli: Run Kimi K3 using 29 GB of RAM at 0.50 tok/s
Mengapa Ini Penting
大規模モデルをコンシューマハードウェアで動かすオフロード技術の実用化として業界注目度が高い。
sqliteaiが2.78兆パラメータのKimi K3モデルをNVMeストリーミングで29GBのRAMから実行できるC言語製推論エンジン「WASTE」をGitHubで公開した。
sqliteaiは、2.78兆パラメータの大規模言語モデルKimi K3を、利用可能なRAMを超えた環境でも動作させるC言語製推論エンジン「WASTE（Weight-Aware Streaming Tensor Engine）」をオープンソースで公開した。WASTEはNVMeストレージから活性化された重みを直接ストリーミングすることで、通常は数百GBのメモリを必要とするモデルをコンシューマ向けラップトップ上で実行できる。実行デモでは64GBのRAM環境において46.24GBを使用し、0.51トークン/秒の速度でKimi K3が回答を生成した。エンジンはサードパーティのランタイム依存関係がなく、単体のCライブラリとして組み込み可能。GitHubでは公開から短期間で374スターを獲得している。Apache-2.0ライセンスで提供されており、CLI・サーバー・例示コードも含まれる。