Python 25줄로 구현하는 'Jev'
원제: Jev in 25 Lines of Python
왜 중요한가
상용 API 없이 로컬 LLM으로 구조화된 분류 확률을 뽑는 경량 패턴은 엣지·프라이버시 민감 환경의 AI 적용 가능성을 넓힌다.
AI 스타트업 NobodyWho가 2026년 9월 22일 공개한 블로그 포스트에서, 최근 화제의 LLM 기법 'Jev'를 외부 API 호출 없이 Python 25줄과 llama-cpp-python만으로 로컬 구현하는 방법을 시연했다. Qwen3-0.6B GGUF 모델을 사용해 이메일 피싱 분류 확률을 출력하는 전체 코드를 공개했다.
Jev는 LLM에 선택지를 주고 각 선택지의 확률을 출력하는 분류 기법으로, 최근 X(구 X)에서 'LLM의 새로운 지평'이라는 평가와 함께 큰 주목을 받고 있다. NobodyWho는 이 포스트에서 Jev의 핵심이 실은 단순하다고 주장하며, 25줄 코드로 직접 증명했다.
구현 방식은 세 단계로 나뉜다. 첫째, Hugging Face에서 Qwen3-0.6B Q8_0 GGUF 모델을 로드한다. 둘째, 분류할 이메일과 선택지(A. Legitimate / B. Spam / C. Phishing)를 포함한 프롬프트를 구성하고 모델에 토크나이즈한다. 셋째, 마지막 토큰의 logits에서 각 선택지 레이블의 토큰 ID에 해당하는 값만 추출해 log-sum-exp 정규화로 확률로 변환한다.
실제 출력 결과는 'Payroll asks for your password on a non-company sign-in page.'라는 이메일에 대해 Phishing 확률 88.5%, Spam 8.4%, Legitimate 3.1%를 반환했다. 외부 API, 합성 데이터 생성, 강화학습 기반 보정(RLCD) 없이 로컬에서 동작한다는 점을 강조했다.
포스트 말미에는 '패러디 글'임을 명시하며, 보다 완성도 높은 오픈소스 구현체로 OpenJev, openjev-sglang, OpenJev on DiffusionGemma를 링크로 소개했다.