744B MoEモデルをRAM 25GBで動かすOSSエンジン
원제: Show HN: Getting GLM 5.2 running on my slow computer
왜 중요한가
수백억 규모 MoE 모델을 소비자용 PC에서 구동 가능하게 함으로써, 대형 모델의 로컬 실행 접근성을 크게 높이는 기술적 기여로 평가된다.
개발자 JustVugg가 2025년 GLM-5.2(744B MoE) 모델을 RAM 약 25GB의 소비자용 PC에서 실행 가능한 오픈소스 추론 엔진 'colibri'를 GitHub에 공개했다. 순수 C 언어로 작성되어 외부 의존성이 전혀 없으며, routed expert 가중치를 디스크에서 스트리밍하는 방식으로 메모리 사용량을 대폭 절감한다. 공개 이후 GitHub Stars 837개를 기록했다.
colibri는 744B 파라미터 규모의 Mixture-of-Experts(MoE) 모델인 GLM-5.2를 일반 소비자용 컴퓨터에서 실행하기 위해 설계된 경량 추론 엔진이다. 핵심 아이디어는 MoE 모델의 구조적 특성에서 출발한다. GLM-5.2는 토큰당 전체 744B 파라미터 중 약 40B만 활성화하며, 토큰마다 실제로 변경되는 파라미터는 약 11GB 분량의 routed expert에 한정된다.
이를 바탕으로 colibri는 어텐션, 공유 expert, 임베딩 등 밀집 구성 요소(약 17B 파라미터)는 int4 양자화 상태로 RAM에 상주(약 9.9GB)시키고, 21,504개의 routed expert(75개 MoE 레이어 × 256개 + MTP 헤드, 각 약 19MB, 합계 약 370GB)는 디스크에 저장한 뒤 필요할 때만 스트리밍하는 방식을 채택했다. 레이어별 LRU 캐시를 통해 자주 사용되는 expert는 재사용된다.
엔진은 순수 C 언어로 작성되어 외부 라이브러리 의존성이 전혀 없으며, 시작 후 약 32초 만에 준비 완료 상태에 도달한다고 보고되었다. 라이선스는 Apache-2.0이며, GitHub에서 소스 코드를 공개 중이다. 공개 시점 기준 Stars 837개, Fork 51개를 기록하고 있다.