Kimi Delta Attentionの仕組みを段階的に解説
原題: You Could Have Come Up with Kimi Delta Attention
なぜ重要か
QwenやKimiといった主要モデルに採用されるlinear attentionの設計原理が公開されることで、長文コンテキスト処理の効率化技術への理解と応用が広がる。
AIスタートアップDoublewordの創業者Jamie Dborinが2026年7月27日、Kimi Delta Attention（KDA）の数学的導出を解説する技術記事を公開した。softmax attentionからlinear attention、DeltaNet、Gated DeltaNet、そしてKDAへと段階的に式を導き出すアプローチを採用し、最新のQwenおよびKimiモデルで使われるアーキテクチャの理解を助ける内容となっている。
DoublewordのJamie Dborinは、近年急速に複雑化しているlinear attentionの変種を体系的に理解するための解説記事を公開した。記事はbra-ket記法（量子力学由来の表記法）を用いて数式を整理しており、列ベクトル・行ベクトル・スカラー・行列の関係を明確に示している。
KDA（Kimi Delta Attention）の状態更新式は一見難解だが、記事では「隠れ状態に対する単純な仮定」から出発して同じ式を自然に導けることを示している。具体的な導出経路は、通常のcausal softmax attentionからsoftmaxを取り除いたlinear attentionへの変換から始まる。softmaxの分母がクエリと全過去キーに依存するため再配置が困難であるという問題点を指摘し、まずそのsoftmaxを除去することで線形化を実現する。
続いてDeltaNet、さらにGated DeltaNetへと拡張し、最終的にKDAの式に到達する流れを追う。KDAはQwenおよびKimiの最新モデルファミリーで採用されており、実用上の重要性も高い。記事の後半では、KDAを実行するrecurrentおよびchunkwiseなTritonプログラムについても解説する予定としている。
通常のcausal attentionはシーケンス長Tに対してT²のkey-queryペアを持ち、自己回帰推論時にはKVキャッシュがシーケンス長とともに増大するという課題がある。KDAを含むlinear attentionの変種はこの課題への対処として研究されており、本記事はその設計思想を一般の研究者・エンジニアに向けて平易に説明することを目的としている。