13年前のXeonでGemma 4 26Bを毎秒5トークン動作
原題: Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
なぜ重要か
廃棄済み企業サーバーで最新の大規模言語モデルが動作することは、GPU不要の低コストAI推論の可能性を示し、エッジ・オンプレミス活用の裾野を広げる事例として注目される。
ソフトウェアエンジニアのRyan Findley氏が2026年6月8日、GPUなしの13年前のHP StoreVirtualサーバー（デュアルXeon E5-2690 v2、Ivy Bridge世代）上でGoogleのオープンウェイトモデルGemma 4 26B（混合エキスパート構成）を毎秒約5.2トークンで動作させることに成功したと報告した。ハードウェアの購入コストは300ドル未満とされる。
Findley氏は自宅地下室に設置した旧式のHP StoreVirtualストレージサーバーを活用した。このサーバーはデュアルXeon E5-2690 v2（Ivy Bridge、2013年製）とDDR3メモリを搭載し、GPUは搭載していない。命令セットはAVX1のみで、AVX2やFMA3には対応していない。
発端はHacker Newsで話題になった「2016年製の単一XeonでGemma 4を動かす」という記事だった。その記事はBroadwell世代のXeonとik_llama.cppフォークを組み合わせ、投機的デコーディングやCPU向けMoEルーティングなどの最適化を活用していた。Findley氏も同様の試みを行ったが、自身のIvy BridgeチップはHaswellで導入されたAVX2・FMA3命令に対応していないため、最適化カーネルが起動時にクラッシュした。
解決にはAIアシスタントのClaudeを活用した。Claudeはクラッシュ原因をマイクロアーキテクチャの命令セット非対応と特定し、AVX2・FMA3を前提とした高速カーネルをAVX2非対応チップ向けにフォールバックするよう修正した。Findley氏によれば、この作業は「fix itと一度入力して完成パッチが返ってくる」ものではなく、他者が書いたパフォーマンスクリティカルなC++コードを読み解き、特定マイクロアーキテクチャで無効な理由を分析した上でルーティングを修正する作業だったと述べている。
結果として、Gemma 4の26Bパラメーター混合エキスパートモデル（Q8_0量子化）がデコード毎秒約5.2トークン、プロンプト評価毎秒約16トークンで動作することを確認した。修正パッチはik_llama.cppのPR#2138として公開中で、メンテナーのレビュー待ちの状態にある。