13年前のXeonでGemma 4 26Bを毎秒5トークン動作
원제: Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
왜 중요한가
GPU非搭載の旧式エンタープライズ機でも最新MoEモデルが実用速度で動作可能であることを示し、低コストなオンプレミスAI推論の実現可能性を広げる事例となっている。
Neomind LabsのRyan Findley氏は2026年6月8日、GPUなしの13年前のサーバー（HP StoreVirtual、Xeon E5-2690 v2×2基、DDR3）でGoogle製オープンモデルGemma 4 26B（MoE）をQ8_0量子化で毎秒約5.2トークン生成することに成功したと報告した。ハードウェアの取得コストは300ドル以下。
Ryan Findley氏が自宅サーバールームに設置した2013年製HP StoreVirtualストレージ機（Xeon E5-2690 v2 Ivy Bridge、DDR3、GPU非搭載）で、Googleの26億パラメーター混合エキスパート（MoE）モデルGemma 4 26B-A4BをQ8_0量子化にて動作させることに成功した。デコード速度は約5.2トークン/秒、プロンプト評価は約16トークン/秒を記録している。
発端は数週間前にHacker Newsで話題になった「2016年製Xeon一台で動く」という記事。Findley氏は同手法を自機で試みたが、使用されていたik_llama.cppのフォークが2014年以降のHaswellから搭載されたAVX2およびFMA3命令を前提としていたため、Ivy Bridge世代（AVX1のみ）では起動できなかった。
Findley氏はこの問題をClaude（Anthropic製AI）に渡し、パフォーマンスクリティカルなC++カーネルのAVX2非対応パスへのフォールバック処理を実装させた。パッチはik_llama.cppのPR #2138として公開済みで、執筆時点ではメンテナーのレビュー待ち状態。同ブランチから利用可能。
Findley氏は「AIを使いこなすとは課金サービスを使うことではなく、モデルを深く理解し未知の問題に適用し、回答の正しさを判断できる能力だ」と述べている。