Kimi K3（2.78兆パラメータ）を29GBのRAMで動作
Original : Run Kimi K3 using 29 GB of RAM at 0.50 tok/s
Pourquoi c'est important
数兆パラメータ級モデルの個人PC実行が現実的な選択肢となりつつある
WASTE（Weight-Aware Streaming Tensor Engine）は、2.78兆パラメータのKimi K3モデルをNVMeから直接ウェイトをストリーミングすることで、利用可能なRAMを超えて動作させるC言語製の推論エンジン。依存ライブラリ不要でGitHubで公開中。
GitHubユーザーsqliteaiが公開した「WASTE」（Weight-Aware Streaming Tensor Engine）は、Moonshot AIの大規模言語モデル「Kimi K3」（2.78兆パラメータ）を、一般的なコンシューマー向けラップトップで実行可能にするオープンソースの推論エンジンです。本エンジンはC言語で記述されており、サードパーティのランタイム依存関係を一切持ちません。主な特徴は、NVMeストレージから活性化されたウェイトを直接ストリーミングすることで、物理RAMの制約を回避する点にあります。デモでは64GBのRAMを搭載したマシンで46.24GBを使用し、約0.51トークン/秒の速度でKimi K3が動作することが確認されています。エキスパートキャッシュのヒット率は14%（3,357ヒット／20,195ミス）と報告されています。最小29GBのRAMで動作可能とされており、従来は大規模クラスターが必要だったモデルを個人環境に開放する技術として注目されています。ソースコードはApache-2.0ライセンスのもと公開されており、スター数は374（2025年6月時点）に達しています。