0.8B 경량 결정 모델 Jeff, 30ms로 판단
원제: Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
왜 중요한가
대형 모델의 추론 비용을 경량 결정 모델로 줄이면서 정확도까지 높이는 구조는 엣지·온프레미스 AI 배포 방식에 실질적인 대안을 제시한다.
오픈소스 개발자 firelex가 GitHub에 0.8B 파라미터 규모의 'System 1' 결정 모델 Jeff를 공개했다. 자체 하드웨어에서 약 30ms 이내로 추론이 가능하며, Jev 호환 LoRA 어댑터를 교체해 다양한 도메인에 적용할 수 있다. 현재 GitHub에서 1,300개 이상의 스타를 기록 중이다.
Jeff는 대형 언어 모델 앞단에 배치하는 경량 결정 모델이다. 설계 철학은 단순하다. Qwen3.8-27B 같은 강력한 로컬 모델이 글쓰기와 계획 수립을 담당하고, Jeff는 빠른 판단만 맡는다. Jeff가 먼저 답하고, 불확실한 경우에만 쿼리를 27B 모델로 넘기는 구조다.
공개된 벤치마크에 따르면, 8개 어댑터 평균 기준으로 Qwen3.8-27B 단독 사용 시 정확도는 86.6%이며 결정당 평균 8.1초가 소요된다. 반면 Jeff를 앞단에 두면 정확도는 95.3%로 오르고, 처리 시간은 평균 0.25초로 38배 빨라진다. 오답률도 13.4%에서 4.7%로 2.8배 줄었다.
기술 구조는 하나의 베이스 모델에 교체 가능한 LoRA 어댑터를 조합하는 방식이다. 어댑터는 베이스 버전 간 이식이 불가능하지만, 학습 데이터셋은 가이드라인을 준수하면 버전을 넘어 재사용할 수 있다. 현재 커뮤니티 프리뷰로 Jeff v1.2와 9개 어댑터가 공개됐으며, 장기 지원 버전인 v1.3은 약 36시간 내 출시 예정이라고 저장소 README에 명시됐다. v1.3 출시 직후 공식 어댑터도 재학습될 계획이다.
TypeScript 클라이언트도 포함되어 있으며, Python 패키지는 pyproject.toml 기반으로 uv를 통해 설치할 수 있다.