旧Xeonで13年前のPCがGemma 4 26Bを毎秒5トークン処理
Judul asli: Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
Mengapa Ini Penting
古い企業向けサーバーでも最新LLMの実用動作が可能なことを示し、AI推論の低コスト化・民主化の観点で注目される事例。
Ryan Findleyが2013年製デュアルXeon E5-2690 v2搭載のHP StoreVirtualサーバー（GPU無し、300ドル以下）でGoogleのGemma 4 26BモデルをCPUのみで毎秒約5.2トークン動作させることに成功した。
エンジニアのRyan Findleyは、2013年製のHP StoreVirtualストレージサーバーを再利用し、GoogleのオープンウェイトモデルGemma 4 26B（Mixture-of-Experts構成）をGPU無しで動作させることに成功した。使用ハードウェアはデュアルXeon E5-2690 v2（Ivy Bridge世代）、DDR3メモリ、GPU無し、購入コストは300ドル以下。推論速度はデコード約5.2トークン/秒、プロンプト評価で約16トークン/秒を達成した。
技術的な課題は命令セットにあった。ik_llama.cppフォークの高速カーネルはAVX2とFMA3命令セットを前提としているが、Ivy Bridge世代のCPUはこれらをサポートしておらず（Haswell世代の2014年以降に搭載）、起動時にビルドが失敗した。Findleyはこの問題の解決にAIアシスタントのClaudeを活用。ClaudeがC++のパフォーマンスクリティカルなコードを分析し、AVX2非対応チップでも動作するようホットパスをフォールバック処理に書き直した。修正パッチはikawrakow/ik_llama.cpp のプルリクエスト#2138として公開中で、メンテナーのレビュー待ちとなっている。