Ollaya: 로컬 실행 결정 모델 런타임
원제: Ollaya – Ollama for open-source, Jev-style decision models
왜 중요한가
로컬 결정 모델 런타임의 등장은 분류·라우팅 워크로드를 클라우드 없이 저지연으로 처리하려는 기업 수요를 정면으로 겨냥한다.
오픈소스 프로젝트 Ollaya가 2025년 공개됐다. Ollama에서 영감을 받아 설계된 이 도구는 텍스트·JSON에 대한 분류·결정 모델을 로컬에서 실행하며, RTX 4090 기준 5개 질문에 89ms 응답, winnow:12b 모델로 정확도 0.773을 기록했다. GitHub 스타 1,100개를 돌파했다.
Ollaya는 Ollama의 설계 철학(단일 바이너리, pull-and-run, 로컬 API)을 그대로 차용하면서 생성 언어모델 대신 '결정 모델(decision model)'에 특화한 런타임이다. 질문을 던지면 단일 순방향 패스(forward pass)로 확률과 함께 분류 결과를 반환한다. 토큰 단위 생성이 없어 속도가 빠르다.
Bespoke Labs의 공개 벤치마크(13개 데이터셋, 인간 레이블 3,880개 질문)에서 Ollaya 0.8.0과 Ollama 0.35.0을 동일한 RTX 5090에서 비교한 결과, winnow:12b는 정확도 0.773으로 Ollama의 최고 모델 Nimble(0.749)을 앞섰다. 지연 시간은 winnow:12b가 질문당 60ms, Nimble on Ollama는 210ms였다. 같은 Nimble 가중치 기준 캘리브레이션 오류(ECE)는 Ollaya 0.022 대 Ollama 0.122로 5.5배 차이가 났다.
Ollaya는 인코더(laya, nli, gliclass, von)와 디코더(winnow, clef, kev, decider 등) 16개 패밀리를 지원한다. 반면 Ollama 0.35는 Nimble·Tev1 디코더 2종만 제공한다. 요청당 최대 256개 질문, 답변 옵션 255개를 처리할 수 있으며, TypeSafe 엔드포인트(/v1/decisions 등)를 통해 기존 TypeSafe 사용자가 드롭인 교체할 수 있다. 소형 인코더 모델 laya는 CPU에서도 약 10ms에 응답한다. 프로젝트는 Ollama·TypeSafe와 무관한 독립 오픈소스임을 명시했다.