GPU不要、64GB RAMで284Bモデルを動かす
原題: Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
なぜ重要か
GPU不要で200B超モデルがCPUのみで動く実績は、ローカルAI推論の裾野を大幅に広げ、高額GPU調達が難しい研究者・企業に直接影響する。
オープンソースプロジェクト「llama-modchip」（v2.4.0）が、GPU一切なしの64GB RAM搭載CPU環境で284BパラメータのDeepSeek-V4-Flashを動作させることに成功した。メモリ使用量は59GiB未満に抑えつつ、プリフィル速度44.4トークン/秒、生成速度9.1〜14.7トークン/秒を達成。256Kトークンのコンテキスト長にも対応する。
GitHub上で公開された「llama-modchip」は、これまでGPUクラスタが必要とされてきた200B超の大規模言語モデルを、一般的なデスクトップ・ワークステーション向けの64GB RAMだけで実行可能にするツール群だ。
対象モデルはDeepSeek-V4-Flash（284.33Bパラメータ）で、ディスク上のチェックポイントサイズは56.56GiB。256Kコンテキスト時のピークメモリ使用量（VmRSS）は57.61GiBに収まる。プリフィル処理は44.36トークン/秒、テキスト生成は9.1〜14.7トークン/秒という数値が公式に示されている。
30B規模のMoE（Mixture of Experts）モデルでは最大111トークン/秒と、より高いスループットも実現。対応アーキテクチャはApple Silicon、AVX-512対応x86（AMD Zen5など）、Fedora環境向けのセットアップスクリプトも用意されている。
技術面では、SwiGLU-H2と呼ばれるアクティベーション最適化、チェスエンジンStockfishのPVS（Principal Variation Search）アルゴリズムをLv.3相当で応用した推論高速化、そして13ミリ秒でセッションを復元するClaude Code向けKVキャッシュ復元機能を実装している。量子化形式はGGUFを採用し、llama.cppをベースにしたパッチ群で構成される。
ライセンスはApache-2.0。GitHubでのスター数は執筆時点で331、フォーク数は22。プレプリント論文（paper/ディレクトリ）も同梱されており、技術的詳細を検証できる。