📐 梯度连乘：完整推导

变量定义：

• $h^{(t)}$ = 时间步 $t$ 的隐状态
• $W_h$ = 隐状态到隐状态的权重矩阵
• $\sigma$ = 激活函数（如 tanh）
• $z^{(j)} = W_h h^{(j-1)} + W_x x^{(j)}$ = 前激活值

推导过程：

第 1 步：从损失 $J^{(t)}$ 到 $h^{(k)}$ 的梯度，需要经过链式法则逐步回传：

$\frac{\partial J^{(t)}}{\partial h^{(k)}} = \frac{\partial J^{(t)}}{\partial h^{(t)}} \cdot \frac{\partial h^{(t)}}{\partial h^{(k)}}$

第 2 步：将 $\frac{\partial h^{(t)}}{\partial h^{(k)}}$ 展开为连乘积（每一步用链式法则）：

$\frac{\partial h^{(t)}}{\partial h^{(k)}} = \prod_{j=k+1}^{t} \frac{\partial h^{(j)}}{\partial h^{(j-1)}}$

第 3 步：计算单步 Jacobian，由 $h^{(j)} = \sigma(W_h h^{(j-1)} + W_x x^{(j)})$ 得：

$\frac{\partial h^{(j)}}{\partial h^{(j-1)}} = W_h^T \cdot \text{diag}\!\left(\sigma'(z^{(j)})\right)$

第 4 步：代入连乘积，得完整梯度公式：

$\frac{\partial h^{(t)}}{\partial h^{(k)}} = \prod_{j=k+1}^{t} W_h^T \cdot \text{diag}\!\left(\sigma'(z^{(j)})\right)$

第 5 步：奇异值分析，设 $W_h$ 的最大奇异值为 $\lambda_1$，$\sigma'$ 在 $[0,1]$ 有界：

• 若 $\lambda_1 < 1$：乘积随 $t - k$ 指数趋零 → 梯度消失

• 若 $\lambda_1 > 1$：乘积随 $t - k$ 指数爆炸 → 梯度爆炸

Gradient Clipping 算法：

$\hat{g} \leftarrow \begin{cases} \dfrac{\text{threshold}}{\|\hat{g}\|} \hat{g} & \text{若 } \|\hat{g}\| > \text{threshold} \\ \hat{g} & \text{否则} \end{cases}$

直觉：将梯度向量缩放到固定长度以内，保持方向不变，只压缩幅度。

📚 已收录至 拓展阅读知识库

📐 条件语言模型：完整推导

变量定义：

• $x = (x_1, \ldots, x_m)$ = 源句子（长度 $m$）
• $y = (y_1, \ldots, y_T)$ = 目标句子（长度 $T$）
• $c$ = 上下文向量（encoder 最终隐状态）
• $s^{(t)}$ = decoder 在时间步 $t$ 的隐状态

推导过程：

第 1 步：目标是对 $P(y|x)$ 建模，用概率链式法则分解联合概率：

$P(y|x) = P(y_1, y_2, \ldots, y_T | x) = \prod_{t=1}^{T} P(y_t | y_1, \ldots, y_{t-1}, x)$

第 2 步：Encoder 将 $x$ 压缩为固定向量 $c$（Encoder RNN 最后一步隐状态）：

$c = h^{(m)}_\text{enc} = f_\text{enc}(x_1, \ldots, x_m)$

第 3 步：Decoder 在每一步利用 $c$ 和之前生成的词：

$s^{(t)} = f_\text{dec}(s^{(t-1)}, y_{t-1}, c)$

$P(y_t | y_{<t}, x) = \text{softmax}(W_o s^{(t)}) \big[y_t\text{-index}\big]$

第 4 步：训练目标——最大化对数似然（对训练集上每个 $(x, y)$ 对求和）：

$\mathcal{L} = \sum_{(x,y) \in \mathcal{D}} \log P(y|x) = \sum_{(x,y) \in \mathcal{D}} \sum_{t=1}^{T} \log P(y_t | y_{<t}, x)$

第 5 步：推断时用贪心解码或 Beam Search 寻找最高概率序列：

$\hat{y} = \arg\max_{y} P(y|x)$

📚 已收录至 拓展阅读知识库

📐 三步注意力计算：完整推导

变量定义：

• $s_t \in \mathbb{R}^d$ = decoder 在时间步 $t$ 的隐状态（Query）
• $h_i \in \mathbb{R}^d$ = encoder 第 $i$ 个位置的隐状态（Key/Value）
• $H = [h_1, \ldots, h_n] \in \mathbb{R}^{d \times n}$ = 所有 encoder 隐状态
• $e_i \in \mathbb{R}$ = 第 $i$ 个位置的注意力分数（标量）
• $\alpha \in \mathbb{R}^n$ = 注意力权重向量（概率分布）
• $a_t \in \mathbb{R}^d$ = 注意力输出（加权上下文向量）

推导过程：

第 1 步：计算注意力分数（三种等价变体）

点积注意力（Luong et al., 2015）：

$e_i = s_t^T h_i$

缩放点积注意力（Vaswani et al., 2017）：

$e_i = \frac{s_t^T h_i}{\sqrt{d}}$

缩放原因：$s_t^T h_i$ 的期望方差为 $d$（若 $s_t, h_i$ 各分量 i.i.d. 均值0方差1），$\sqrt{d}$ 缩放将方差归一化为1。

加性注意力（Bahdanau et al., 2015）：

$e_i = v^T \tanh(W_1 h_i + W_2 s_t), \quad v \in \mathbb{R}^{d_a}, W_1, W_2 \in \mathbb{R}^{d_a \times d}$

参数 $v, W_1, W_2$ 通过反向传播学习，表达能力更强但参数更多。

第 2 步：Softmax 归一化

将 $n$ 个原始分数归一化为概率分布：

$\alpha_i = \frac{\exp(e_i)}{\sum_{j=1}^{n} \exp(e_j)}, \quad \alpha \in \mathbb{R}^n, \quad \sum_{i=1}^{n} \alpha_i = 1, \quad \alpha_i \geq 0$

矩阵形式：$\alpha = \text{softmax}(e)$

第 3 步：加权求和得上下文向量

$a_t = \sum_{i=1}^{n} \alpha_i h_i = H \alpha \in \mathbb{R}^d$

最终将 $a_t$ 与 $s_t$ 拼接，送入输出层：$\tilde{s}_t = \tanh(W_c [a_t; s_t])$，用于预测 $y_t$。

📚 已收录至 拓展阅读知识库

📐 Attention(Q, K, V)：完整推导

变量定义：

• $X \in \mathbb{R}^{n \times d_\text{model}}$ = 输入矩阵（序列长度 $n$，每个位置 $d_\text{model}$ 维）
• $W^Q \in \mathbb{R}^{d_\text{model} \times d_k}$ = Query 投影矩阵
• $W^K \in \mathbb{R}^{d_\text{model} \times d_k}$ = Key 投影矩阵
• $W^V \in \mathbb{R}^{d_\text{model} \times d_v}$ = Value 投影矩阵
• $Q = X W^Q \in \mathbb{R}^{n \times d_k}$，$K = X W^K \in \mathbb{R}^{n \times d_k}$，$V = X W^V \in \mathbb{R}^{n \times d_v}$

推导过程：

第 1 步：线性投影

每个输入向量 $x_i \in \mathbb{R}^{d_\text{model}}$ 通过三个独立线性变换得到 Q/K/V：

$q_i = x_i W^Q, \quad k_i = x_i W^K, \quad v_i = x_i W^V$

矩阵形式同时处理所有位置：$Q = XW^Q$，$K = XW^K$，$V = XW^V$

第 2 步：计算相似度矩阵

计算所有 Query 与所有 Key 的点积，得到 $n \times n$ 注意力分数矩阵：

$E = QK^T \in \mathbb{R}^{n \times n}, \quad E_{ij} = q_i^T k_j$

$E_{ij}$ 表示位置 $i$ 对位置 $j$ 的原始注意力分数。

第 3 步：缩放（关键步骤）

为什么需要除以 $\sqrt{d_k}$？

设 $q_i, k_j$ 的各分量 i.i.d.，均值 0，方差 1，则：

$\text{Var}(q_i^T k_j) = \text{Var}\!\left(\sum_{l=1}^{d_k} q_{il} k_{jl}\right) = \sum_{l=1}^{d_k} \text{Var}(q_{il}) \cdot \text{Var}(k_{jl}) = d_k$

所以 $q_i^T k_j$ 的标准差为 $\sqrt{d_k}$。不缩放时，$d_k$ 较大（如 64）的分数会使 softmax 饱和在接近独热分布的区域，梯度近乎为零。缩放后方差归一化为 1：

$\tilde{E} = \frac{QK^T}{\sqrt{d_k}}$

第 4 步：Softmax 按行归一化

$A = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right) \in \mathbb{R}^{n \times n}$

按行归一化：$A_{ij} = \dfrac{\exp(\tilde{E}_{ij})}{\sum_{l=1}^{n} \exp(\tilde{E}_{il})}$，每行之和为 1。

$A_{ij}$ 是位置 $i$ 分配给位置 $j$ 的注意力权重。

第 5 步：加权求和 Value 得输出

$O = AV \in \mathbb{R}^{n \times d_v}, \quad O_i = \sum_{j=1}^{n} A_{ij} v_j$

位置 $i$ 的输出是所有位置 Value 向量按注意力权重的加权平均。

完整公式：

$\boxed{\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right) V}$

形状追踪（务必熟练）：

矩阵	形状	说明
$Q$	$(n \times d_k)$
$K^T$	$(d_k \times n)$
$QK^T$	$(n \times n)$	注意力矩阵，与序列长度平方成正比
$A = \text{softmax}(\cdot)$	$(n \times n)$	行归一化概率矩阵
$V$	$(n \times d_v)$
$O = AV$	$(n \times d_v)$	最终输出

计算复杂度：

• $QK^T$：$(n \times d_k) \cdot (d_k \times n) \Rightarrow O(n^2 d_k)$
• $AV$：$(n \times n) \cdot (n \times d_v) \Rightarrow O(n^2 d_v)$
• 总：$O(n^2 d)$（$n^2$ 是瓶颈）

📚 已收录至 拓展阅读知识库

📐 Multi-Head Attention：完整推导

变量定义：

• $h$ = 注意力头数（Transformer base 中 $h=8$）
• $d_\text{model}$ = 模型维度（Transformer base 中 $d_\text{model}=512$）
• $d_k = d_v = d_\text{model} / h$ = 每个头的维度（base 中 $d_k=64$）
• $W_i^Q \in \mathbb{R}^{d_\text{model} \times d_k}$，$W_i^K \in \mathbb{R}^{d_\text{model} \times d_k}$，$W_i^V \in \mathbb{R}^{d_\text{model} \times d_v}$ = 第 $i$ 个头的投影矩阵
• $W^O \in \mathbb{R}^{h d_v \times d_\text{model}}$ = 输出投影矩阵

推导过程：

第 1 步：每个头独立计算注意力

第 $i$ 个头将输入投影到低维子空间后计算注意力：

$\text{head}_i = \text{Attention}(Q W_i^Q,\; K W_i^K,\; V W_i^V) \in \mathbb{R}^{n \times d_v}$

每个头有自己独立的 $W_i^Q, W_i^K, W_i^V$——这是关键，让每个头可以”专注”不同方面。

第 2 步：拼接所有头的输出

沿最后维度拼接 $h$ 个头的输出：

$\text{Concat}(\text{head}_1, \ldots, \text{head}_h) \in \mathbb{R}^{n \times (h \cdot d_v)} = \mathbb{R}^{n \times d_\text{model}}$

（因为 $h \cdot d_v = h \cdot (d_\text{model}/h) = d_\text{model}$）

第 3 步：输出投影

用 $W^O$ 将拼接结果投影回 $d_\text{model}$ 维，融合来自不同头的信息：

$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h) W^O \in \mathbb{R}^{n \times d_\text{model}}$

参数量分析（每个 MultiHead 层）：

• $h$ 个头的 $W_i^Q$：$h \times d_\text{model} \times d_k = d_\text{model}^2$（因为 $h \cdot d_k = d_\text{model}$）
• 同理 $W_i^K$，$W_i^V$：各 $d_\text{model}^2$
• $W^O$：$h d_v \times d_\text{model} = d_\text{model}^2$
• 总参数量：$4 d_\text{model}^2$（与单头完全相同！）

计算量分析：$h$ 个头，每个头维度 $d_k = d_\text{model}/h$，计算量 $\approx h \times O(n^2 d_k) = O(n^2 d_\text{model})$（与单头相同量级）。

📚 已收录至 拓展阅读知识库

📐 Transformer 核心组件：完整推导

一、正弦位置编码

变量定义：

• $pos$ = 序列中位置（$0, 1, \ldots, n-1$）
• $i$ = 编码向量的维度索引（$0, 1, \ldots, d_\text{model}/2 - 1$）
• $d_\text{model}$ = 模型维度

公式：

$PE_{(pos,\, 2i)} = \sin\!\left(\frac{pos}{10000^{2i/d_\text{model}}}\right), \quad PE_{(pos,\, 2i+1)} = \cos\!\left(\frac{pos}{10000^{2i/d_\text{model}}}\right)$

为什么用正弦/余弦？三个关键性质：

性质 1：每个位置有唯一编码——不同 $pos$ 的编码向量两两不同。

性质 2：可以用线性变换表示相对位置偏移。用三角恒等式展开：

$\sin(A + B) = \sin A \cos B + \cos A \sin B$

$\cos(A + B) = \cos A \cos B - \sin A \sin B$

设 $\omega_i = 1/10000^{2i/d_\text{model}}$，则 $PE_{pos+k}$ 可由 $PE_{pos}$ 线性表示：

$\begin{bmatrix} PE_{(pos+k, 2i)} \\ PE_{(pos+k, 2i+1)} \end{bmatrix} = \begin{bmatrix} \cos(k\omega_i) & \sin(k\omega_i) \\ -\sin(k\omega_i) & \cos(k\omega_i) \end{bmatrix} \begin{bmatrix} PE_{(pos, 2i)} \\ PE_{(pos, 2i+1)} \end{bmatrix}$

旋转矩阵只依赖偏移 $k$，不依赖绝对位置 $pos$——这意味着模型可以学习”相对偏移为 $k$ 的词之间的关系”，而不受绝对位置影响。

性质 3：低频分量（大 $i$，小 $\omega_i$）变化慢，捕捉长距离结构；高频分量（小 $i$，大 $\omega_i$）变化快，捕捉局部精细位置。

二、前馈网络（FFN）

$\text{FFN}(x) = W_2 \cdot \text{ReLU}(W_1 x + b_1) + b_2$

• $W_1 \in \mathbb{R}^{d_{ff} \times d_\text{model}}$，$W_2 \in \mathbb{R}^{d_\text{model} \times d_{ff}}$，$d_{ff} = 4 d_\text{model}$（先扩展 4 倍再压缩）
• 作用：在注意力聚合信息后，对每个位置独立做非线性变换
• 参数量：$2 \times d_\text{model} \times d_{ff} = 8 d_\text{model}^2$（约占 Transformer 总参数 2/3）

三、残差连接 + Layer Normalization（Post-LN）

$\text{output} = \text{LayerNorm}(x + \text{SubLayer}(x))$

残差连接的梯度传播：设 $y = x + f(x)$，则：

$\frac{\partial \mathcal{L}}{\partial x} = \frac{\partial \mathcal{L}}{\partial y} \cdot \frac{\partial y}{\partial x} = \frac{\partial \mathcal{L}}{\partial y}\left(1 + \frac{\partial f}{\partial x}\right)$

梯度中有 “+1” 项，即使 $\partial f/\partial x$ 很小（子层几乎不学习），梯度仍然能通过 “+1” 路径直接传到更早的层，避免梯度消失。

Layer Normalization：

$\text{LayerNorm}(x) = \frac{x - \mu}{\sigma + \epsilon} \cdot \gamma + \beta$

其中 $\mu, \sigma$ 是在特征维度上计算的（不同于 BatchNorm 在 batch 维度上计算）。

Pre-LN vs Post-LN：

• Post-LN（原始 Transformer）：$\text{LayerNorm}(x + \text{SubLayer}(x))$
• Pre-LN（现代 LLM 标准）：$x + \text{SubLayer}(\text{LayerNorm}(x))$
• Pre-LN 训练更稳定（梯度直接通过残差路径流动，不经过 LayerNorm），现代 LLM（GPT-2 之后）几乎全部采用 Pre-LN。

📚 已收录至 拓展阅读知识库

📐 三种 Transformer 架构：Encoder、Decoder、Encoder-Decoder 深度剖析

一、为什么会演化出三种架构？

原始 Transformer（Vaswani et al., 2017）是 Encoder-Decoder 结构，为机器翻译设计。后续研究发现，不同任务对信息流向的需求不同，于是拆分出三种变体：

架构	注意力方向	信息流	核心任务	代表模型
Encoder-only	双向（Bidirectional）	每个 token 看到所有 token	理解、分类、匹配	BERT, RoBERTa
Decoder-only	单向（Causal）	每个 token 只看到左侧 token	生成、续写	GPT, LLaMA
Encoder-Decoder	Enc 双向 + Dec 单向 + 交叉	理解→生成的桥接	翻译、摘要、问答	T5, BART

二、Encoder-only（BERT 类）详解

结构：$L$ 层堆叠，每层 = Self-Attention + FFN + 残差 + LayerNorm

注意力矩阵：无掩码，$n \times n$ 的完整矩阵

$A_{ij} = \frac{(x_i W_Q)(x_j W_K)^T}{\sqrt{d_k}}, \quad \forall\, i, j \in \{1, \ldots, n\}$

关键特性：位置 $i$ 的表示融合了整个序列的信息，包括”未来”位置。

为什么适合理解任务？ 考虑情感分析句子 “The movie was not bad at all”：

• 理解 “not bad” 需要同时看到 “not” 和 “bad”
• 双向注意力让 “bad” 能关注左边的 “not”，也能关注右边的 “at all”
• 最终 [CLS] token 聚合了全局信息，用于分类

局限：无法直接用于生成——因为训练时每个位置都能看到答案，推理时生成位置 $t+1$ 时无法提供位置 $t+1$ 及之后的真实 token。

三、Decoder-only（GPT 类）详解

结构：$L$ 层堆叠，每层 = Masked Self-Attention + FFN + 残差 + LayerNorm

注意力矩阵：下三角因果掩码

$A_{ij} = \begin{cases} \frac{(x_i W_Q)(x_j W_K)^T}{\sqrt{d_k}} & \text{if } j \leq i \\ -\infty & \text{if } j > i \end{cases}$

$-\infty$ 经过 softmax 后变为 0，确保位置 $i$ 只能关注 $\{1, 2, \ldots, i\}$。

为什么需要因果掩码？ 自回归生成的核心约束：

$P(x_1, x_2, \ldots, x_n) = \prod_{t=1}^{n} P(x_t \mid x_1, \ldots, x_{t-1})$

如果位置 $t$ 能看到 $x_{t+1}$，那模型在训练时直接”抄答案”，推理时（没有答案可抄）就完全失效。因果掩码在训练时模拟推理时的信息约束。

KV Cache 优化：推理时生成 token $t$，位置 $1$ 到 $t-1$ 的 Key/Value 已经计算过且不会改变（因为因果掩码保证它们不依赖未来 token），因此可以缓存复用，将每步复杂度从 $O(t \cdot d)$ 降为 $O(d)$。

四、Encoder-Decoder（T5 类）详解——两种架构如何协同

这是三种架构中最复杂也最精巧的设计。核心问题：为什么需要同时拥有 Encoder 和 Decoder？

4.1 设计动机：理解与生成是两个不同的计算过程

以机器翻译为例——将 “我爱自然语言处理” 翻译为 “I love NLP”：

• 理解阶段（Encoder 的任务）：充分理解源句的每个词和整体语义。“我” 指代谁？“爱” 的对象是什么？“自然语言处理” 是一个专有名词还是三个独立词？这需要双向注意力——“处理” 要知道前面是 “自然语言”，“自然” 要知道后面是 “语言处理”。

• 生成阶段（Decoder 的任务）：逐词生成目标语言。生成 “I” 后才能生成 “love”，生成 “love” 后才能生成 “NLP”。这需要因果掩码——保证自回归生成的正确性。

• 桥接阶段（Cross-Attention 的任务）：生成每个目标词时，需要”回头看”源句。生成 “NLP” 时要知道它对应的是源句中的 “自然语言处理” 而不是 “我” 或 “爱”。这需要 Cross-Attention。

4.2 数据流的完整路径

设源序列 $X = (x_1, \ldots, x_n)$，目标序列 $Y = (y_1, \ldots, y_m)$。

第 1 步：Encoder 处理源序列

$H^{(0)} = \text{Embed}(X) + PE \in \mathbb{R}^{n \times d}$

经过 $L_{\text{enc}}$ 层 Encoder Block：

$H^{(l)} = \text{EncoderBlock}^{(l)}(H^{(l-1)}), \quad l = 1, \ldots, L_{\text{enc}}$

每层内部： $\tilde{H} = \text{LayerNorm}(H^{(l-1)} + \text{SelfAttn}(H^{(l-1)}))$ $H^{(l)} = \text{LayerNorm}(\tilde{H} + \text{FFN}(\tilde{H}))$

最终输出 $H^{(L_{\text{enc}})} \in \mathbb{R}^{n \times d}$——源序列的上下文感知表示。

第 2 步：Decoder 逐层处理目标序列

$Z^{(0)} = \text{Embed}(Y) + PE \in \mathbb{R}^{m \times d}$

经过 $L_{\text{dec}}$ 层 Decoder Block，每层包含三个子层：

子层 1：Masked Self-Attention（目标序列内部的因果注意力） $Z' = \text{LayerNorm}(Z^{(l-1)} + \text{MaskedSelfAttn}(Z^{(l-1)}))$

子层 2：Cross-Attention（从 Encoder 输出获取源序列信息） $Z'' = \text{LayerNorm}(Z' + \text{CrossAttn}(Q=Z',\; K=H^{(L_{\text{enc}})},\; V=H^{(L_{\text{enc}})}))$

子层 3：FFN $Z^{(l)} = \text{LayerNorm}(Z'' + \text{FFN}(Z''))$

4.3 Cross-Attention：连接理解与生成的桥梁

Cross-Attention 的数学形式：

$\text{CrossAttn}(Z', H) = \text{softmax}\!\left(\frac{(Z' W_Q^{\text{cross}})(H W_K^{\text{cross}})^T}{\sqrt{d_k}}\right)(H W_V^{\text{cross}})$

关键区别：

• Self-Attention：Q, K, V 全部来自同一个序列
• Cross-Attention：Q 来自 Decoder（“我想找什么”），K 和 V 来自 Encoder（“源序列有什么”）

注意力矩阵维度：$m \times n$（目标长度 × 源长度），无掩码——生成每个目标 token 时可以关注源序列的任意位置。

直觉：Cross-Attention 就像一个可学习的对齐模型。当 Decoder 在生成 “NLP” 时：

• Query 编码了 “在当前生成上下文中，我需要什么样的源信息”
• Key 编码了 “源序列每个位置提供什么样的信息”
• 注意力权重 $\alpha_{ij}$ 告诉我们：“NLP” 应该主要关注源句中的 “自然”、“语言”、“处理” 三个 token
• Value 加权求和后，Decoder 获得了精确的源端信息

4.4 为什么不能只用 Decoder？

GPT 类模型证明了 Decoder-only 也能做翻译（把源句和目标句拼接成一个序列）。但 Encoder-Decoder 有结构性优势：

1. 信息利用效率：Encoder 用双向注意力理解源句，信息提取更充分。Decoder-only 模型中源句部分也受因果掩码约束，源句末尾的词看不到开头的词（除非加前缀注意力等技巧）

2. 计算效率：Encoder 对源句的计算只做一次，生成每个目标 token 时复用。Decoder-only 模型在 KV Cache 下也能做到类似效果，但 Encoder 的双向注意力质量更高

3. 对齐的显式建模：Cross-Attention 的 $m \times n$ 矩阵可以直接可视化为源→目标的对齐矩阵，具有很好的可解释性