一文科普 主流 LLM 注意力机制

山景城小路7956 曝光 · 53 收藏

Aug. 9th.

Mountain View, CA

一、TL;DR

主流 LLM 的注意力设计不是一条简单的“MHA → MQA → GQA → MLA → 稀疏/线性注意力”升级链。更准确的理解方式，是把相关技术分成四个可以组合的维度：

  1. KV 缓存表示：MHA、MQA、GQA、MLA，主要影响 KV Cache 的大小和内存带宽。
  2. 注意力连接范围：全注意力、滑动窗口、块稀疏、Token 稀疏，主要影响每个查询需要访问多少历史位置。
  3. 序列混合器：Softmax 注意力、线性注意力、状态空间模型（SSM）及其混合架构，决定序列信息如何聚合。
  4. 位置与训练稳定化技术：RoPE、ALiBi、QK-Norm、iRoPE 等，解决位置信息、数值稳定性和长度扩展问题。

这些维度彼此正交。例如：

  • DeepSeek-V3 使用 MLA + 全注意力；DeepSeek-V3.2 使用 MLA + DSA 稀疏选择。
  • Qwen3.5 使用 Gated DeltaNet + 门控全注意力，其中全注意力层采用 GQA。
  • Kimi Linear 使用 KDA 线性注意力 + MLA。
  • MiniMax M2/M2.5/M2.7 使用 全层 Full Attention + GQA，并没有采用 Lightning Attention 或 KDA。

因此，不能把 GQA、DSA 和 Hybrid 当作互斥的三类范式，也不能笼统地说所有 2026 年主流模型都采用稀疏或线性注意力。

二、先区分三个成本

1. KV Cache 存储

自回归解码会缓存每层的 K 和 V。忽略对齐、量化与额外元数据时，其大小可近似写成：

https://arxiv.org/abs/2108.12409

其中：

  • (B)：批大小；
  • (L)：Transformer 层数；
  • (T)：已缓存的序列长度；
  • (H_{KV})：KV 头数量；
  • (d_k,d_v)：每个 KV 头的维度；
  • (s)：每个数值占用的字节数。

MQA 和 GQA 通过减少 (H_{KV}) 缩小缓存；MLA 则缓存低维潜在表示以及解耦的 RoPE 分量。所谓“MQA 将缓存缩小到 (1/h)”只在它与同维度、同层数的 MHA 比较时成立。

2. Prefill / 训练计算

长度为 (T) 的标准全注意力需要构造查询与所有键之间的关系，时间和注意力矩阵空间通常按 (O(T^2)) 描述。FlashAttention 能显著减少中间显存和数据搬运，但不会改变全注意力的二次计算阶数。

3. 逐 Token 解码计算

已有 KV Cache 时，生成一个新 Token 只需要让新查询访问此前的 (T) 个位置，因此单步注意力为 (O(T))，不是 (O(T^2))。但是随着输出不断增长，完整生成过程的累计注意力工作量仍可能呈二次增长。

这一区分很重要：GQA/MLA 主要缓解缓存与带宽；稀疏、局部或线性机制主要减少长序列计算。它们解决的不是同一个问题。

三、KV 缓存表示：MHA、MQA、GQA 与 MLA

3.1 MHA：Multi-Head Attention

标准多头注意力让每个查询头拥有各自的 K、V 投影。它是 Transformer 的基础形式，也是比较其他机制时常用的基线。

优点： 每个头可以形成不同的表示与检索模式，结构直观，软硬件生态成熟。 代价： KV 头数与查询头数相同，长上下文和高并发解码时缓存较大。

不能简单断言“MHA 的质量一定最高”。模型质量还取决于参数量、训练数据、训练配方、头维度和计算预算；其他机制在合理设计和训练后可能达到或超过相应的 MHA 基线。

来源：Attention Is All You Need

3.2 MQA：Multi-Query Attention

MQA 保留多个查询头，但让所有查询头共享一组 K 和 V，即 (H_{KV}=1)。它能显著减少解码阶段的 KV Cache 和内存带宽需求。

MQA 的共享程度最高，表示容量可能受限，但“必然在长上下文上明显掉点”并不是普遍定律。损失大小取决于训练方式、模型规模和任务。

来源：Fast Transformer Decoding: One Write-Head is All You Need

3.3 GQA：Grouped-Query Attention

GQA 把多个查询头分组，同组查询共享一组 K/V：

https://arxiv.org/abs/2310.06825

它在 MHA 与 MQA 之间提供可调折中。原始 GQA 研究表明，从 MHA 检查点进行适当的 uptraining 后，GQA 可以在实验中接近 MHA 的质量，同时获得接近 MQA 的推理速度。

GQA 已被 Llama 3、Qwen2.5、Mistral 7B 以及 MiniMax M2 系列等模型采用，但不应表述为“所有主流模型的统一标准”。

来源：GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints

3.4 MLA：Multi-Head Latent Attention

MLA 由 DeepSeek-V2 系统化提出。它对 K/V 的联合表示做低秩压缩，在推理时缓存低维潜在向量，同时为 RoPE 保留一个解耦的键分量。

MLA 不应被描述成“先缓存压缩向量，使用时再显式恢复出近似的完整 K/V”。在 DeepSeek 给出的推理变换中，K 的升维矩阵可以吸收到查询投影中，V 的升维矩阵可以吸收到输出投影中，因此无需真的构造并缓存完整高维 K/V。

DeepSeek-V2 报告的 KV Cache 降幅约为 93.3%，但这是相对特定对照模型和配置的结果，不是 MLA 对任何模型都固定成立的“约 95% 压缩率”。实际收益取决于潜在维度、RoPE 分量、头维度、精度和比较基线。

来源：DeepSeek-V2 Technical Report、DeepSeek-V3 Technical Report

3.5 对比

https://arxiv.org/abs/2501.08313

这里不存在脱离具体参数配置的绝对排序。例如，某个 MQA 模型的缓存可能小于某个 MLA 模型；质量也不能仅由机制名称决定。

四、注意力连接范围：全局、局部与稀疏选择

4.1 全注意力（Full Attention）

每个查询可以直接访问此前所有合法位置。它提供最直接的全局信息通路，并拥有最成熟的训练、prefix cache、量化和推理基础设施，但训练与 prefill 的计算随上下文长度二次增长。

4.2 滑动窗口注意力（SWA）

每个位置只访问最近 (w) 个 Token，复杂度可近似为 (O(Tw))。当 (w) 固定时，它对序列长度是线性的。局部层也可以与少量全局层交替，以周期性传播远距离信息。

  • Mistral 7B 采用 GQA 和滑动窗口注意力，但 Mistral 并不是局部注意力的发明者。更早的 Sparse Transformer、Longformer 和 GPT-3 等工作已经使用过局部或局部—全局混合模式。
  • Gemma 3 的公开设计为每六层包含五个局部层和一个全局层，局部窗口为 1,024 Token。

来源：Mistral 7B、GPT-3、Gemma 3 官方说明

局部注意力不是“免费”的全局注意力。跨窗口信息必须经过多层传播或全局层中转，因此检索、归纳和多跳推理表现取决于层布局、窗口大小和训练数据。

4.3 NSA：Native Sparse Attention

DeepSeek 的 NSA 是面向硬件效率、从训练阶段原生学习的稀疏注意力。它包含三个并行分支：

  1. 压缩后的粗粒度 Token；
  2. 动态选择的细粒度 Token Block；
  3. 固定滑动窗口中的近期 Token。

三个分支的输出通过门控组合。它不是单纯的“先粗筛、再精算”流水线，因为压缩、选择和局部分支是并行组成部分。论文展示了从预训练开始使用 NSA 的方案，但公开结果不能证明它在所有情况下都“必须从零预训练”。

来源：Native Sparse Attention

4.4 DSA：DeepSeek Sparse Attention

DeepSeek-V3.2 的 DSA 在 MLA 上加入学习式稀疏选择，核心包括：

  1. Lightning Indexer：为查询和历史 Token 计算轻量相关性分数；
  2. Top-k 选择：选出少量相关位置；
  3. 稀疏主注意力：只在被选位置上执行 MLA 形式的主注意力。

需要准确区分两部分复杂度：主注意力由 (O(T^2)) 降到约 (O(Tk))，但公开技术报告说明 Lightning Indexer 仍为 (O(T^2))。因此，不能把整个 DSA 系统严格写成 (O(Tk))；其实际优势来自索引器比完整注意力轻得多，以及稀疏主计算和工程内核的联合优化。

来源：DeepSeek-V3.2 Technical Report

4.5 MoBA：Mixture of Block Attention

MoBA 把上下文划分成 Block，再使用类似 MoE 路由的机制为每个查询选择少量相关 Block。它把注意力看作“按内容路由到上下文块”的问题，并保留因果约束。

MoBA 与 NSA、DSA 都属于动态稀疏注意力，但选择粒度和索引方式不同：MoBA 主要做块级路由，DSA 做更细粒度的 Token 选择，NSA 则组合压缩、选择与局部窗口三个分支。

来源：MoBA: Mixture of Block Attention for Long-Context LLMs

五、线性注意力、状态空间模型与混合架构

5.1 基本思想

标准 Softmax 注意力显式比较查询与历史键。线性注意力通常利用可结合的特征映射或循环更新，把历史压缩到一个状态中，从而避免保存或遍历全部历史 Token。理想情况下，训练/prefill 对长度近似线性，解码状态大小不随上下文增长。

这种固定状态带来容量约束：任意历史细节都必须被压缩进有限状态。它不意味着模型一定无法进行长程检索，但相较全注意力，精确回看任意位置更困难。因此，当前公开的大型实现常把线性层与少量全注意力层混合，而不是完全取消全注意力。

状态空间模型（例如 Mamba）和线性注意力都能以循环状态处理序列，但数学结构并不相同，不宜把两者当作同义词。

5.2 Gated DeltaNet 与 Qwen3.5

DeltaNet 使用 delta rule 更新快速权重状态；Gated DeltaNet 再加入数据相关的遗忘门，以控制旧信息保留程度。

Qwen3.5-27B 的官方模型卡给出的语言模型布局是：

https://arxiv.org/abs/2010.04245

即 3:1 的线性注意力与全注意力混合。它有 262,144 Token 的原生上下文，并声明可扩展到约 101 万 Token。全注意力层有 24 个查询头和 4 个 KV 头，因此属于 GQA。Qwen3.5 使用的是 Gated DeltaNet，不是 KDA。

不同尺寸的 Qwen3.5 可能采用 Dense 或 MoE 前馈层，因此也不能把“Qwen3.5 使用 MoE”无条件推广到整个系列。

来源：Qwen3.5-27B 官方模型卡、官方配置

5.3 KDA 与 Kimi Linear

Kimi Delta Attention（KDA）是 Kimi Linear 提出的线性注意力模块。它扩展 Gated DeltaNet，把遗忘门从较粗的粒度细化到通道级，从而让不同特征维度具有不同的记忆衰减速度。

公开的 Kimi Linear 模型采用 3:1 的 KDA 与 MLA 层混合。KDA 层维护固定大小的循环状态，而 MLA 层仍需要随上下文增长的缓存，因此“固定状态”只适用于 KDA 层，不能描述整个混合模型。

论文在其具体模型与测试配置下报告：相对全 MLA 基线，KV Cache 最多降低 75%，在 100 万 Token 上下文下解码吞吐最高达到 6 倍；这些是特定实验结果，不应视为任何 KDA 模型的固定收益。KDA 目前有公开代码和模型验证，但没有证据表明 Qwen3.5 或 MiniMax M2.5 采用了 KDA。

来源：Kimi Linear: An Expressive, Efficient Attention Architecture

5.4 MiniMax：Text-01 与 M2 系列不能混为一谈

MiniMax-Text-01 使用 Lightning Attention 与 Softmax Attention 交替的混合设计。但后续 MiniMax M2/M2.5/M2.7 改为全层 Full Attention，并使用 48 个查询头、8 个 KV 头的 GQA，原生上下文为 192K。

MiniMax 的技术报告明确说明：团队在大规模推理、编码和 Agent 任务上认为混合高效注意力尚未稳定达到全注意力的质量，因此 M2 系列没有延续 Text-01 的 Lightning Attention。这也是一个重要提醒：高效注意力的理论复杂度更好，并不保证在所有训练规模和生产任务上都更优。

来源：MiniMax-01 Technical Report、MiniMax M2 系列技术报告、MiniMax-M2.5 官方配置

5.5 Transformer—SSM 混合

NVIDIA Nemotron-H 等模型把 Mamba/SSM 层与少量 Transformer 注意力层组合。目标与线性注意力混合相似：大部分层用线性长度成本处理序列，少量全注意力层补充内容寻址能力。但“Nemotron”是模型家族名称，不应把某个子系列的混合结构推广到所有 Nemotron 模型。

来源：Nemotron-H

六、位置编码与稳定化技术

6.1 RoPE

RoPE 通过旋转 Q/K 的二维子空间，使注意力分数包含相对位置关系。它被大量现代 LLM 使用，但未经调整的 RoPE 通常不能可靠地外推到远超训练长度的上下文。位置插值、NTK-aware scaling 和 YaRN 等方法专门用于改善长度扩展。

来源：RoFormer / RoPE、Position Interpolation、YaRN

6.2 ALiBi

ALiBi 不向输入加入显式位置嵌入，而是在注意力分数上加入与相对距离相关的线性偏置。因此它仍然编码位置；准确说法是“没有额外的位置嵌入”，而不是“没有位置编码”。

来源：Train Short, Test Long: Attention with Linear Biases

6.3 QK-Norm

QK-Norm 对 Q、K 或它们的投影进行归一化，用于控制注意力 Logit 的尺度，减轻 Softmax 饱和并提升训练稳定性。它被多种模型采用，但不是所有大模型都必须使用的统一标准组件。

来源：Query-Key Normalization for Transformers

6.4 iRoPE

Llama 4 公开说明中的 iRoPE 指交替使用 RoPE 层与 NoPE 层，即部分注意力层不使用位置嵌入，并配合推理时的注意力温度缩放改善长度泛化。它不是专门为滑动窗口或块注意力设计的“交替式 RoPE 变体”。

来源：Meta：Llama 4

七、代表模型的准确归类

https://arxiv.org/abs/1706.03762

八、机制选择时应如何判断

https://huggingface.co/Qwen/Qwen3.5-27B

任何机制的收益都必须在相同训练预算、参数规模、上下文分布、推理精度、硬件和内核成熟度下比较。论文中的“最高 X 倍吞吐”或“节省 Y% 缓存”通常来自特定配置，不应直接推广为架构常数。

九、2026 年的合理趋势判断

  1. 组合式设计正在增加，但全注意力并未退出。 Qwen3.5、Kimi Linear 和 DeepSeek-V3.2 展示了不同的混合或稀疏路线；MiniMax M2 系列则说明部分团队在复杂生产任务上仍偏好全注意力。
  2. KV 压缩与计算稀疏化会继续共同演进。 GQA/MLA 解决缓存和带宽，DSA/NSA/MoBA 等减少主注意力的访问范围，两者可以叠加。
  3. 实际速度越来越依赖软硬件协同。 理论复杂度只是上限；数据布局、Kernel、量化、prefix caching、speculative decoding 和设备带宽会决定真实吞吐。
  4. 长上下文长度不能只看模型卡数字。 原生窗口、外推窗口、有效检索长度和 Agent 工作流中的实际稳定性是不同概念。
  5. MoE 与注意力机制是不同维度。 MoE 稀疏的是 FFN 专家计算；稀疏注意力减少的是 Token 之间的连接。MoE 很常见，但既不是所有模型的统一底座，也不等同于稀疏注意力。

十、参考资料

  1. Vaswani et al., Attention Is All You Need, 2017.
  2. Shazeer, Fast Transformer Decoding: One Write-Head is All You Need, 2019.
  3. Ainslie et al., GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints, 2023.
  4. DeepSeek-AI, DeepSeek-V2 Technical Report, 2024.
  5. DeepSeek-AI, DeepSeek-V3 Technical Report, 2024.
  6. DeepSeek-AI, Native Sparse Attention, 2025.
  7. DeepSeek-AI, DeepSeek-V3.2 Technical Report, 2025.
  8. Moonshot AI, MoBA: Mixture of Block Attention for Long-Context LLMs, 2025.
  9. Kimi Team, Kimi Linear: An Expressive, Efficient Attention Architecture, 2025.
  10. Qwen Team, Qwen3.5-27B 官方模型卡, 2026.
  11. MiniMax, MiniMax-01 Technical Report, 2025.
  12. MiniMax, The MiniMax-M2 Series, 2026.
  13. Jiang et al., Mistral 7B, 2023.
  14. Google, Gemma explained: What’s new in Gemma 3, 2025.
  15. Su et al., RoFormer: Enhanced Transformer with Rotary Position Embedding, 2021.
  16. Press et al., Train Short, Test Long: Attention with Linear Biases, 2021.
  17. Henry et al., Query-Key Normalization for Transformers, 2020.
  18. Meta, The Llama 4 herd, 2025.