Query-Key-Value 框架：概念、设计动机与解决的问题

📐 从”直接比较”到 QKV 的演进

最朴素的方案：直接用词向量做点积

$e_{ij} = x_i^T x_j$

位置 $i$ 和位置 $j$ 的注意力分数就是两个词向量的点积。

问题：这迫使同一个向量既要”表达自己的含义”，又要”决定和谁相关”，还要”提供什么信息给别人”。三种功能耦合在一起，表达力严重受限。

类比：这就像要求每个人的名片既是搜索关键词、又是被搜索的标签、还是搜索结果——信息必然混淆。

QKV 的解法：给每个词三种独立的”角色”

$q_i = W^Q x_i, \quad k_j = W^K x_j, \quad v_j = W^V x_j$

• Query $q_i$：“我在找什么？“——位置 $i$ 发出的查询请求
• Key $k_j$：“我是什么？“——位置 $j$ 用来被匹配的标签
• Value $v_j$：“如果你选中我，我提供什么信息？“——位置 $j$ 实际贡献的内容

注意力分数 = Query 和 Key 的匹配度：$e_{ij} = q_i^T k_j$

注意力输出 = 按匹配度加权 Value：$\text{output}_i = \sum_j \text{softmax}(e_{ij}) \cdot v_j$

三个投影矩阵 $W^Q, W^K, W^V$ 是独立学习的，模型可以自由决定：

• 用什么特征去”查询”（Query 空间）
• 用什么特征去”被查询”（Key 空间）
• 查询到之后提供什么信息（Value 空间）

📐 QKV 的形式化定义

输入：$X \in \mathbb{R}^{n \times d_\text{model}}$（$n$ 个位置，每个 $d_\text{model}$ 维）

三个投影矩阵（可学习参数）：

$W^Q \in \mathbb{R}^{d_\text{model} \times d_k}, \quad W^K \in \mathbb{R}^{d_\text{model} \times d_k}, \quad W^V \in \mathbb{R}^{d_\text{model} \times d_v}$

投影结果：

$Q = XW^Q \in \mathbb{R}^{n \times d_k}, \quad K = XW^K \in \mathbb{R}^{n \times d_k}, \quad V = XW^V \in \mathbb{R}^{n \times d_v}$

注意力计算：

$\text{Attention}(Q, K, V) = \underbrace{\text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)}_{\text{注意力权重矩阵}\ A \in \mathbb{R}^{n \times n}} V \in \mathbb{R}^{n \times d_v}$

形状追踪：

步骤	计算	形状
1. 投影	$Q = XW^Q$	$(n \times d_\text{model}) \cdot (d_\text{model} \times d_k) = n \times d_k$
2. 打分	$QK^T$	$(n \times d_k) \cdot (d_k \times n) = n \times n$
3. 缩放	$QK^T / \sqrt{d_k}$	$n \times n$（除以标量不改变形状）
4. 归一化	$\text{softmax}(\cdot)$	$n \times n$（每行归一化为概率分布）
5. 加权	$A \cdot V$	$(n \times n) \cdot (n \times d_v) = n \times d_v$

参数量：$3 \times d_\text{model} \times d_k$ （假设 $d_k = d_v$）。在 BERT-base 中：$3 \times 768 \times 64 = 147{,}456$（单个注意力头）。

📐 为什么要除以 $\sqrt{d_k}$？

问题：当 $d_k$ 较大时，$q^T k = \sum_{i=1}^{d_k} q_i k_i$ 的方差会很大。

数学分析：假设 $q_i, k_i \sim \mathcal{N}(0, 1)$ 且独立，则：

$\mathbb{E}[q^T k] = \sum_{i=1}^{d_k} \mathbb{E}[q_i k_i] = 0$

$\text{Var}(q^T k) = \sum_{i=1}^{d_k} \text{Var}(q_i k_i) = \sum_{i=1}^{d_k} 1 = d_k$

当 $d_k = 64$ 时，$q^T k$ 的标准差 $\approx 8$。点积值分布在 $[-24, 24]$ 范围（$3\sigma$），softmax 对这么大的输入会产生接近 one-hot 的输出，梯度几乎为零。

解法：除以 $\sqrt{d_k}$ 使方差归一化为 1：

$\text{Var}\left(\frac{q^T k}{\sqrt{d_k}}\right) = \frac{d_k}{d_k} = 1$

没有缩放 → softmax 变成 argmax → 梯度消失 → 训练失败。缩放是让 softmax 在有意义的区间内工作的关键。

📐 两种注意力的 QKV 来源

类型	Q 来自	K, V 来自	用途
Self-Attention	自身序列 $X$	自身序列 $X$	序列内部建模（BERT、GPT）
Cross-Attention	目标序列 $Y$	源序列 $X$	跨序列信息传递（翻译、T5）

Self-Attention：$Q = XW^Q$，$K = XW^K$，$V = XW^V$（Q/K/V 都来自同一个 $X$）

Cross-Attention：$Q = YW^Q$，$K = XW^K$，$V = XW^V$（Q 来自目标，K/V 来自源）

直觉：Cross-Attention 中，目标序列用 Query”提问”，源序列用 Key/Value”回答”。例如翻译时，中文 decoder 的 Query 去检索英文 encoder 的 Key/Value，找到对应的翻译信息。