5.4GB로 구동하는 Inkling-2-Mini 양자화 컴파일러
원제: Inkling-2-Mini in 5.4 GB Memory
왜 중요한가
소비자급 하드웨어에서 고품질 LLM 추론을 가능케 하는 양자화 기술 발전은 엣지 AI 배포 비용 절감에 직결된다.
GitHub 사용자 ShinMegamiBoson이 공개한 오픈소스 양자화 컴파일러 'LookAtMyQuant'가 같은 파일 크기에서 Q4_K_M 대비 KL 발산을 12배 낮추는 성능을 달성했다. Inkling-2-Mini 모델을 5.4GB 메모리로 실행 가능하며, 현재 GitHub에서 별점 424개, 포크 19개를 기록 중이다.
LookAtMyQuant는 대형 언어 모델의 양자화 품질을 측정하고 최적화하는 컴파일러 도구로, MIT 라이선스 하에 공개됐다. 핵심 성과는 기존 GGUF 생태계에서 널리 쓰이는 Q4_K_M 방식과 동일한 파일 크기를 유지하면서 KL(Kullback-Leibler) 발산을 12배 줄였다는 점이다. KL 발산은 원본 모델과 양자화된 모델 간 출력 분포 차이를 측정하는 지표로, 수치가 낮을수록 원본에 가까운 품질을 뜻한다.
저장소 구조를 보면 컴파일러 본체(compiler.py), 행 중요도 분석(row_importance.py), 행 그룹 할당(rowgroup_alloc.py), GGUF 내보내기(gguf_compiler.py), MLX 런타임 지원(runtime_mlx/) 등 다수의 모듈로 구성돼 있다. 수학 벤치마크(math_bench.py)와 공개 평가(public_eval.py) 스크립트도 포함돼 재현 가능한 평가 환경을 제공한다. Modal 기반 클라우드 실행 스크립트도 포함돼 있어 로컬 GPU 없이도 대규모 양자화 작업이 가능하다.
'Inkling-2-Mini'를 5.4GB 메모리 환경에서 구동할 수 있다는 것이 이번 공개의 핵심 사용 사례로 제시됐다. 세부 기술 문서와 평가 결과는 lookatmyquant.pages.dev에서 확인할 수 있다. 현재 이슈 3건, 풀 리퀘스트 7건이 열려 있어 활발한 초기 개발 단계임을 보여준다.