2.78조 파라미터 Kimi K3를 29GB RAM으로 구동
원제: Run Kimi K3 using 29 GB of RAM at 0.50 tok/s
왜 중요한가
고가의 GPU 없이 소비자용 하드웨어에서 수조 파라미터 모델 추론이 가능함을 보여줌으로써, 엣지·온프레미스 LLM 배포 가능성을 크게 넓혔다.
오픈소스 프로젝트 WASTE(Weight-Aware Streaming Tensor Engine)가 2.78조 파라미터 규모의 Kimi K3 모델을 소비자용 노트북의 29GB RAM에서 초당 0.50토큰 속도로 실행하는 데 성공했다. 제3자 런타임 의존성이 없는 C언어 기반 추론 엔진으로 GitHub에 공개됐다.
sqliteai가 공개한 WASTE는 NVMe 스토리지에서 활성화된 가중치를 직접 스트리밍하는 방식으로, 사용 가능한 RAM을 초과하는 대형 언어 모델을 실행할 수 있도록 설계된 C언어 추론 엔진이다.
공개된 데모에서는 64GB RAM 탑재 소비자용 노트북에서 Kimi K3를 실행했으며, 엔진이 46.24GB의 메모리를 사용(전문가 캐시 17.56GB 포함)해 질의에 대한 답변을 31.09초, 초당 0.51토큰 속도로 생성했다. 또한 프로젝트 제목에서 언급된 29GB RAM 환경에서도 0.50토큰/초 속도로 동작 가능하다고 밝혔다.
WASTE의 주요 특징은 다음과 같다. 첫째, 외부 런타임 라이브러리에 의존하지 않는 완전한 C 구현으로 임베드 가능한 설계를 채택했다. 둘째, 활성화된 전문가(expert) 가중치만 NVMe에서 선택적으로 스트리밍해 메모리 사용량을 대폭 줄인다. 데모 결과에서 전문가 캐시 히트율은 약 14%(3,357회 히트 / 20,195회 미스)를 기록했다.
프로젝트는 Apache-2.0 라이선스로 공개되었으며, GitHub에서 소스코드, CLI, 서빙 도구, 예제 등을 제공한다. 공개 직후 Star 374개, Fork 35개를 기록했다.