독일산 LLM Kolibri, 작동 원리 공개
원제: Aleph Alpha Kolibri: How the sovereign German LLM works
왜 중요한가
EU AI Act 준수를 설계 단계부터 반영한 대규모 오픈웨이트 모델의 첫 사례로, 유럽 공공·산업 시장에서의 규제 친화적 AI 도입 흐름을 가속할 수 있다.
Aleph Alpha가 2026년 10월 3일 출시한 오픈웨이트 LLM Kolibri는 총 781억 파라미터의 MoE(Mixture of Experts) 구조로, 토큰당 약 35억 파라미터만 활성화한다. 독일·핀란드 인프라에서 약 24조 토큰으로 학습했으며, Apache 2.0 라이선스로 Hugging Face에 공개됐다. EU AI Act를 처음부터 고려해 설계한 점이 특징이다.
Aleph Alpha의 Kolibri는 독일어와 영어를 지원하는 대형 언어 모델로, MoE 구조 덕분에 전체 파라미터의 4.4%만 활성화해 처리 효율을 높였다. 기본 컨텍스트 창은 262,144토큰이며, 최대 104만 토큰까지 테스트됐다. 학습 데이터 중 독일어 비중은 20% 이상이고, NVIDIA B200 GPU 768개로 훈련했다. 지식 컷오프는 2026년 6월 18일이다.
Aleph Alpha는 '소버린(sovereign)'이라는 표현을 두 가지 의미로 쓴다. 첫째, 모델 자체가 유럽·독일법 아래 독일과 핀란드 인프라에서 외부 통제 없이 개발됐다는 점이다. 둘째, 고객이 자체 서버에서 운영할 수 있어 데이터가 외부로 나가지 않고 모델 접근권을 제3자가 차단할 수 없다는 점이다. 회사는 EU GPAI 행동강령에도 서명했다.
다만 학습 과정에서 Google의 Gemma 4로 영어 웹 텍스트를 재가공하고, Mistral-NeMo로 독일어를 처리했으며, Qwen3-32B로 품질 필터 레이블링을 진행했다. 모델 카드에도 이 사실이 명시돼 있어, '완전 유럽산'이라는 주장에는 다소 복잡한 맥락이 있다. Aleph Alpha는 중국산 오픈 모델에서 측정한 정치적 편향을 학습 데이터에서 필터링했다고 밝혔다.
구조적으로는 384개 전문가(expert) 네트워크를 두고, 각 토큰마다 6개만 라우팅하는 방식이다. 추론 수준은 없음·낮음·중간·높음 4단계로 조절할 수 있고, 툴 콜링도 지원한다. 모델 메모리는 FP8 기준 약 78GB다.