Kimi Linear

分类: 网络架构

定义

Moonshot AI 提出的高效 LLM 架构，交替使用 Kimi Delta Attention (KDA) 和 Multi-head Latent Attention (MLA)，配合 MoE feed-forward 层，以 3:1 ratio 交替排列

48B total / 3B activated parameters 的 MoE 架构

KDA 和 MLA 以 3:1 比例交替

MLA 使用 NoPE（无位置编码），context extension 无需 YaRN

与 DeepSeek-V3 设计思路相近

AttnRes 作为 drop-in 替换集成到其残差连接中

Yu Zhang et al. 2025: Kimi Linear 技术报告

AttnRes: 在 Kimi Linear 48B 上验证