Kimi K3 아키텍처 상세 분석
원제: Kimi K3 Architecture Overview and Notes
왜 중요한가
2.8조 파라미터의 최대 규모 오픈 웨이트 모델 공개로, 추론 효율화 기술의 집약적 적용 방식이 업계 표준 설계에 영향을 미칠 수 있다.
AI 연구자 Sebastian Raschka 박사가 2026년 7월 28일 블로그를 통해 Kimi K3의 아키텍처를 분석했다. Kimi K3는 2.8조 파라미터 규모로 현존 최대 오픈 웨이트 모델이며, LatentMoE, Multi-Head Latent Attention, NoPE(위치 임베딩 없음) 등 추론 효율화 기술을 전면 적용했다.
Sebastian Raschka 박사가 Moonshot AI의 오픈 웨이트 모델 Kimi K3의 아키텍처를 상세 분석한 글을 공개했다. Kimi K3는 지난해 공개된 Kimi Linear(48B)를 2.8조 파라미터 규모로 확장한 모델로, 현재 공개된 오픈 웨이트 모델 중 최대 규모다.
아키텍처의 주요 특징으로는 우선 LatentMoE가 있다. 이는 Nemotron 3 Ultra와 동일한 구조로, 대형 선형 레이어를 Multi-Head Latent Attention과 유사한 방식으로 압축(다운 프로젝트)해 효율을 높인다. 또한 기존 Attention을 Multi-Head Latent Attention 및 Kimi Delta Attention으로 대체해 추론 효율을 개선했다.
효율화 이외의 구조적 변경으로는 Attention Residuals가 있다. DeepSeek V4의 mHC(manifold-constrained Hyper-Connections)가 잔차 경로를 더 넓게 만드는 방식이었다면, Attention Residuals는 레이어 간 잔차를 연결하고 Attention 점수로 기여도 가중치를 산출한다. 기술 보고서에 따르면 이 구조는 검증 손실 및 다운스트림 성능을 일관되게 개선하며, 학습 비용은 약 4%, 추론 비용은 약 2% 증가한다.
특히 주목할 점은 Kimi K3가 RoPE(Rotary Position Embedding)를 완전히 제거하고 NoPE(No Positional Embeddings)만을 전 레이어에 적용했다는 것이다. 다른 모델들은 로컬 어텐션에 RoPE, 글로벌 레이어에 NoPE를 혼용하는 추세였으나, 프론티어급 모델에서 NoPE만을 전면 채택한 것은 이번이 처음이라고 Raschka 박사는 밝혔다. 또한 Kimi K3는 네이티브 멀티모달 지원도 새롭게 추가했다.