Jeff: 0.8B小型決定モデル、30msで動作
मूल शीर्षक: Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
यह क्यों महत्वपूर्ण है
エッジ・ローカル環境でのAI推論需要が高まる中、30ms以下で動作する軽量分類モデルは実用的なエージェント開発の選択肢を広げる。
GitHubユーザーfireplexが「Jeff」を公開。Qwen3.5とGemma 4をfine-tuneした0.8Bパラメータのzero-shot分類モデルで、RTX PRO 6000で約22ms、Apple M4 Maxで約28msの推論速度を実現。ローカル環境で動作し、Jevと同じAPIフॉर्मात का उपयोग करता है।
「Jeff」は、Qwen3.5とGemma 4をベースにfine-tuneされた小型の決定モデルで、zero-shot分類に特化している。開発者のfireplexがGitHubで公開したこのプロジェクトは、Jevと互換性のあるリクエスト形式を採用しており、既存のコードへの組み込みが容易だ。
モデルの動作方法はシンプルで、ユーザーが状況と選択肢を自然言語で記述すると、Jeffは1回のforward passで各選択肢の確率を返す。テキスト生成や出力のパース処理は不要で、サポートキュー、ユーザー意図の分類、モデレーションラベル、音声コマンド、ゲームの行動選択など幅広い用途に対応できる。
zero-shotアプローチの利点として、分類カテゴリーが学習データに含まれている必要がない点が挙げられる。ただし開発者は正直で、「非常に小さなモデルであり、より大きなモデルで動くJevほどの推論能力はない」と明記している。
精度が不十分な場合のfine-tune事例も示されており、音声ナビゲーションタスクでのfine-tuneでは、held-out精度が31.7%から95.8%に向上し、所要時間はGPU1枚で30分未満だったという。完全にローカルハードウェア上で動作する点も特徴の一つ。GitHubでは現在229スターを獲得している。