Jeff: 0.8Bの高速分類モデル、約30ms
Judul asli: Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
Mengapa Ini Penting
エッジ環境やローカル環境での高速分類ニーズに応える小型特化モデルの実用例として注目される。
firelex がオープンソースで公開した「Jeff」は、Qwen3.5とGemma 4をベースにしたゼロショット分類モデル。RTX PRO 6000で約22ms、Apple M4 Maxで約28msの推論速度を実現する。
「Jeff」はQwen3.5およびGemma 4をファインチューニングした0.8Bパラメータの小型分類モデルで、GitHubにMITライセンスで公開されている。Jevと互換性のあるリクエスト形式を採用しており、状況と選択肢をテキストで記述するだけで、各選択肢に対する確率を1回の推論で返す。テキスト生成やパース処理は不要。ゼロショット対応のため、サポートキュー分類、ユーザー意図判定、コンテンツモデレーション、音声コマンド認識、ゲームAIなど幅広い用途に使える。精度が不十分な場合は少量のファインチューニングが有効で、音声ナビゲーションのユースケースでは保留データの精度が31.7%から95.8%へ、GPU1台で30分以内に向上した事例が紹介されている。ただし開発者は「これは非常に小さなモデルであり、より大きなモデルで動くJevと同等の推論能力はない」と明記している。