Kimi K3アーキテクチャの詳細解説
原題: Kimi K3 Architecture Overview and Notes
なぜ重要か
2.8兆パラメータ規模のオープンウェイトモデルの登場は、推論効率と多機能化の両立という業界トレンドをさらに加速させる可能性がある。
AI研究者Sebastian Raschka博士が2026年7月28日、Moonshot AIが公開したオープンウェイトモデル「Kimi K3」のアーキテクチャを解説した。K3は2.8兆パラメータを有し、現時点で最大のオープンウェイトモデルである。前作Kimi Linear（48B）の設計を踏襲しつつ、推論効率の向上を目的とした複数の新機能を追加している。
Sebastian Raschka博士が自身のブログで、Moonshot AIが公開したKimi K3のアーキテクチャについて詳細な解説を行った。
Kimi K3は2.8兆パラメータを持つオープンウェイトモデルで、前作「Kimi Linear」（48Bパラメータ）を大幅にスケールアップした構成となっている。現時点でオープンウェイトモデルの中では最大規模とされる。
主な新要素として「LatentMoE」が挙げられる。これはNVIDIAのNemotron 3 Ultraでも採用された手法であり、Multi-Head Latent Attention（MLA）と同様の考え方で、大きな線形層を圧縮（ダウンプロジェクト）することで推論効率を高める。
アーキテクチャ全体の傾向として推論効率の改善が顕著であり、通常のMoEをLatentMoEに、通常のAttentionをMLAおよびKimi Delta Attentionに置き換えている点が特徴的だ。これはDeepSeek V4やNemotron 3と同様の方向性である。
効率化以外の変更点として「Attention Residuals」がある。DeepSeek V4がmHC（manifold-constrained Hyper-Connections）で残差パスを幅広にしたのに対し、Attention Residualsはレイヤー間の残差をAttentionスコアで重み付けして接続する手法である。技術レポートによると、検証損失と下流タスクのパフォーマンスをわずかに改善する一方、学習コストは約4%、推論コストは約2%増加するとされる。
また、Kimi K3はすべての層でRoPE（Rotary Positional Embeddings）を廃止し、NoPE（No Positional Embeddings）のみを使用する設計を採用した。他のアーキテクチャではスライディングウィンドウAttentionなどローカルAttentionにRoPEを使う傾向があるが、K3はフロンティアレベルのモデルとしてNoPEのみを採用した初の事例とRaschka博士は指摘している。
さらに、Kimi K3はネイティブのマルチモーダルサポートを新たに備えている。