Kimi Linear：線形Attentionが全Attentionを初めて超越
原題: Kimi Linear: An Expressive, Efficient Attention Architecture
なぜ重要か
線形AttentionがフルAttentionを公平な比較で初めて上回ったとされ、LLMの推論コスト削減と長文脈処理の実用化に向けた重要な技術的転換点となりうる。
Moonshot AIのKimi Teamは2025年10月30日、線形AttentionとフルAttentionのハイブリッドアーキテクチャ「Kimi Linear」を発表した。活性化パラメータ30億・総パラメータ480億のモデルで、短文・長文・強化学習のスケーリングを含む全評価タスクにおいてフルAttentionを上回り、KVキャッシュ使用量を最大75%削減、100万トークンコンテキストでのデコードスループットを最大6倍改善したと報告している。
Moonshot AIのKimi Teamは、新しいハイブリッド線形Attentionアーキテクチャ「Kimi Linear」に関する技術レポートをarXivに公開した。
Kimi Linearの核心は「Kimi Delta Attention（KDA）」と呼ばれる線形Attentionモジュールである。KDAはGated DeltaNetをベースに、より細粒度なゲーティング機構を追加することで、有限状態のRNNメモリをより効果的に活用できるよう設計されている。またカスタム設計のチャンクワイズアルゴリズムは、Diagonal-Plus-Low-Rank（DPLR）遷移行列の特殊バリアントを採用し、一般的なDPLR定式化と比較して計算量を大幅に削減しながら、古典的なdelta ruleとの整合性を維持している。
今回発表されたモデルは、KDAとMulti-Head Latent Attention（MLA）をレイヤー単位でハイブリッドした構成で、活性化パラメータ数30億・総パラメータ数480億規模で事前学習が行われた。
評価実験では、同一の学習レシピを用いた比較において、Kimi Linearはフル MLA（Multi-Head Latent Attention）を全評価タスクで有意な差をつけて上回った。特にKVキャッシュ使用量を最大75%削減し、100万トークンのコンテキストにおけるデコードスループットを最大6倍向上させることを確認している。
これはフル Attentionアーキテクチャの直接の代替として、より高い性能と効率を同時に実現できることを示すものだとチームは述べている。入出力長が長いタスクへの対応も含め、幅広いシナリオでの優位性が確認されている。
研究の再現と発展を支援するため、KDAカーネルおよびvLLM実装はオープンソースとして公開されており、事前学習済みモデルおよびインストラクションチューニング済みモデルのチェックポイントもリリースされている。