📐 梯度连乘：完整推导

变量定义：

• $h^{(t)}$ = 时间步 $t$ 的隐状态
• $W_h$ = 隐状态到隐状态的权重矩阵
• $\sigma$ = 激活函数（如 tanh）
• $z^{(j)} = W_h h^{(j-1)} + W_x x^{(j)}$ = 前激活值

推导过程：

第 1 步：从损失 $J^{(t)}$ 到 $h^{(k)}$ 的梯度，需要经过链式法则逐步回传：

$\frac{\partial J^{(t)}}{\partial h^{(k)}} = \frac{\partial J^{(t)}}{\partial h^{(t)}} \cdot \frac{\partial h^{(t)}}{\partial h^{(k)}}$

第 2 步：将 $\frac{\partial h^{(t)}}{\partial h^{(k)}}$ 展开为连乘积（每一步用链式法则）：

$\frac{\partial h^{(t)}}{\partial h^{(k)}} = \prod_{j=k+1}^{t} \frac{\partial h^{(j)}}{\partial h^{(j-1)}}$

第 3 步：计算单步 Jacobian，由 $h^{(j)} = \sigma(W_h h^{(j-1)} + W_x x^{(j)})$ 得：

$\frac{\partial h^{(j)}}{\partial h^{(j-1)}} = W_h^T \cdot \text{diag}\!\left(\sigma'(z^{(j)})\right)$

第 4 步：代入连乘积，得完整梯度公式：

$\frac{\partial h^{(t)}}{\partial h^{(k)}} = \prod_{j=k+1}^{t} W_h^T \cdot \text{diag}\!\left(\sigma'(z^{(j)})\right)$

第 5 步：奇异值分析，设 $W_h$ 的最大奇异值为 $\lambda_1$，$\sigma'$ 在 $[0,1]$ 有界：

• 若 $\lambda_1 < 1$：乘积随 $t - k$ 指数趋零 → 梯度消失

• 若 $\lambda_1 > 1$：乘积随 $t - k$ 指数爆炸 → 梯度爆炸

Gradient Clipping 算法：

$\hat{g} \leftarrow \begin{cases} \dfrac{\text{threshold}}{\|\hat{g}\|} \hat{g} & \text{若 } \|\hat{g}\| > \text{threshold} \\ \hat{g} & \text{否则} \end{cases}$

直觉：将梯度向量缩放到固定长度以内，保持方向不变，只压缩幅度。

📚 已收录至 拓展阅读知识库

📐 条件语言模型：完整推导

变量定义：

• $x = (x_1, \ldots, x_m)$ = 源句子（长度 $m$）
• $y = (y_1, \ldots, y_T)$ = 目标句子（长度 $T$）
• $c$ = 上下文向量（encoder 最终隐状态）
• $s^{(t)}$ = decoder 在时间步 $t$ 的隐状态

推导过程：

第 1 步：目标是对 $P(y|x)$ 建模，用概率链式法则分解联合概率：

$P(y|x) = P(y_1, y_2, \ldots, y_T | x) = \prod_{t=1}^{T} P(y_t | y_1, \ldots, y_{t-1}, x)$

第 2 步：Encoder 将 $x$ 压缩为固定向量 $c$（Encoder RNN 最后一步隐状态）：

$c = h^{(m)}_\text{enc} = f_\text{enc}(x_1, \ldots, x_m)$

第 3 步：Decoder 在每一步利用 $c$ 和之前生成的词：

$s^{(t)} = f_\text{dec}(s^{(t-1)}, y_{t-1}, c)$

$P(y_t | y_{<t}, x) = \text{softmax}(W_o s^{(t)}) \big[y_t\text{-index}\big]$

第 4 步：训练目标——最大化对数似然（对训练集上每个 $(x, y)$ 对求和）：

$\mathcal{L} = \sum_{(x,y) \in \mathcal{D}} \log P(y|x) = \sum_{(x,y) \in \mathcal{D}} \sum_{t=1}^{T} \log P(y_t | y_{<t}, x)$

第 5 步：推断时用贪心解码或 Beam Search 寻找最高概率序列：

$\hat{y} = \arg\max_{y} P(y|x)$

📚 已收录至 拓展阅读知识库

📐 三步注意力计算：完整推导

变量定义：

• $s_t \in \mathbb{R}^d$ = decoder 在时间步 $t$ 的隐状态（Query）
• $h_i \in \mathbb{R}^d$ = encoder 第 $i$ 个位置的隐状态（Key/Value）
• $H = [h_1, \ldots, h_n] \in \mathbb{R}^{d \times n}$ = 所有 encoder 隐状态
• $e_i \in \mathbb{R}$ = 第 $i$ 个位置的注意力分数（标量）
• $\alpha \in \mathbb{R}^n$ = 注意力权重向量（概率分布）
• $a_t \in \mathbb{R}^d$ = 注意力输出（加权上下文向量）

推导过程：

第 1 步：计算注意力分数（三种等价变体）

点积注意力（Luong et al., 2015）：

$e_i = s_t^T h_i$

缩放点积注意力（Vaswani et al., 2017）：

$e_i = \frac{s_t^T h_i}{\sqrt{d}}$

缩放原因：$s_t^T h_i$ 的期望方差为 $d$（若 $s_t, h_i$ 各分量 i.i.d. 均值0方差1），$\sqrt{d}$ 缩放将方差归一化为1。

加性注意力（Bahdanau et al., 2015）：

$e_i = v^T \tanh(W_1 h_i + W_2 s_t), \quad v \in \mathbb{R}^{d_a}, W_1, W_2 \in \mathbb{R}^{d_a \times d}$

参数 $v, W_1, W_2$ 通过反向传播学习，表达能力更强但参数更多。

第 2 步：Softmax 归一化

将 $n$ 个原始分数归一化为概率分布：

$\alpha_i = \frac{\exp(e_i)}{\sum_{j=1}^{n} \exp(e_j)}, \quad \alpha \in \mathbb{R}^n, \quad \sum_{i=1}^{n} \alpha_i = 1, \quad \alpha_i \geq 0$

矩阵形式：$\alpha = \text{softmax}(e)$

第 3 步：加权求和得上下文向量

$a_t = \sum_{i=1}^{n} \alpha_i h_i = H \alpha \in \mathbb{R}^d$

最终将 $a_t$ 与 $s_t$ 拼接，送入输出层：$\tilde{s}_t = \tanh(W_c [a_t; s_t])$，用于预测 $y_t$。

📚 已收录至 拓展阅读知识库

📐 Attention(Q, K, V)：完整推导

变量定义：

• $X \in \mathbb{R}^{n \times d_\text{model}}$ = 输入矩阵（序列长度 $n$，每个位置 $d_\text{model}$ 维）
• $W^Q \in \mathbb{R}^{d_\text{model} \times d_k}$ = Query 投影矩阵
• $W^K \in \mathbb{R}^{d_\text{model} \times d_k}$ = Key 投影矩阵
• $W^V \in \mathbb{R}^{d_\text{model} \times d_v}$ = Value 投影矩阵
• $Q = X W^Q \in \mathbb{R}^{n \times d_k}$，$K = X W^K \in \mathbb{R}^{n \times d_k}$，$V = X W^V \in \mathbb{R}^{n \times d_v}$

推导过程：

第 1 步：线性投影

每个输入向量 $x_i \in \mathbb{R}^{d_\text{model}}$ 通过三个独立线性变换得到 Q/K/V：

$q_i = x_i W^Q, \quad k_i = x_i W^K, \quad v_i = x_i W^V$

矩阵形式同时处理所有位置：$Q = XW^Q$，$K = XW^K$，$V = XW^V$

第 2 步：计算相似度矩阵

计算所有 Query 与所有 Key 的点积，得到 $n \times n$ 注意力分数矩阵：

$E = QK^T \in \mathbb{R}^{n \times n}, \quad E_{ij} = q_i^T k_j$

$E_{ij}$ 表示位置 $i$ 对位置 $j$ 的原始注意力分数。

第 3 步：缩放（关键步骤）

为什么需要除以 $\sqrt{d_k}$？

设 $q_i, k_j$ 的各分量 i.i.d.，均值 0，方差 1，则：

$\text{Var}(q_i^T k_j) = \text{Var}\!\left(\sum_{l=1}^{d_k} q_{il} k_{jl}\right) = \sum_{l=1}^{d_k} \text{Var}(q_{il}) \cdot \text{Var}(k_{jl}) = d_k$

所以 $q_i^T k_j$ 的标准差为 $\sqrt{d_k}$。不缩放时，$d_k$ 较大（如 64）的分数会使 softmax 饱和在接近独热分布的区域，梯度近乎为零。缩放后方差归一化为 1：

$\tilde{E} = \frac{QK^T}{\sqrt{d_k}}$

第 4 步：Softmax 按行归一化

$A = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right) \in \mathbb{R}^{n \times n}$

按行归一化：$A_{ij} = \dfrac{\exp(\tilde{E}_{ij})}{\sum_{l=1}^{n} \exp(\tilde{E}_{il})}$，每行之和为 1。

$A_{ij}$ 是位置 $i$ 分配给位置 $j$ 的注意力权重。

第 5 步：加权求和 Value 得输出

$O = AV \in \mathbb{R}^{n \times d_v}, \quad O_i = \sum_{j=1}^{n} A_{ij} v_j$

位置 $i$ 的输出是所有位置 Value 向量按注意力权重的加权平均。

完整公式：

$\boxed{\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right) V}$

形状追踪（务必熟练）：

矩阵	形状	说明
$Q$	$(n \times d_k)$
$K^T$	$(d_k \times n)$
$QK^T$	$(n \times n)$	注意力矩阵，与序列长度平方成正比
$A = \text{softmax}(\cdot)$	$(n \times n)$	行归一化概率矩阵
$V$	$(n \times d_v)$
$O = AV$	$(n \times d_v)$	最终输出

计算复杂度：

• $QK^T$：$(n \times d_k) \cdot (d_k \times n) \Rightarrow O(n^2 d_k)$
• $AV$：$(n \times n) \cdot (n \times d_v) \Rightarrow O(n^2 d_v)$
• 总：$O(n^2 d)$（$n^2$ 是瓶颈）

📚 已收录至 拓展阅读知识库

📐 Multi-Head Attention：完整推导

变量定义：

• $h$ = 注意力头数（Transformer base 中 $h=8$）
• $d_\text{model}$ = 模型维度（Transformer base 中 $d_\text{model}=512$）
• $d_k = d_v = d_\text{model} / h$ = 每个头的维度（base 中 $d_k=64$）
• $W_i^Q \in \mathbb{R}^{d_\text{model} \times d_k}$，$W_i^K \in \mathbb{R}^{d_\text{model} \times d_k}$，$W_i^V \in \mathbb{R}^{d_\text{model} \times d_v}$ = 第 $i$ 个头的投影矩阵
• $W^O \in \mathbb{R}^{h d_v \times d_\text{model}}$ = 输出投影矩阵

推导过程：

第 1 步：每个头独立计算注意力

第 $i$ 个头将输入投影到低维子空间后计算注意力：

$\text{head}_i = \text{Attention}(Q W_i^Q,\; K W_i^K,\; V W_i^V) \in \mathbb{R}^{n \times d_v}$

每个头有自己独立的 $W_i^Q, W_i^K, W_i^V$——这是关键，让每个头可以”专注”不同方面。

第 2 步：拼接所有头的输出

沿最后维度拼接 $h$ 个头的输出：

$\text{Concat}(\text{head}_1, \ldots, \text{head}_h) \in \mathbb{R}^{n \times (h \cdot d_v)} = \mathbb{R}^{n \times d_\text{model}}$

（因为 $h \cdot d_v = h \cdot (d_\text{model}/h) = d_\text{model}$）

第 3 步：输出投影

用 $W^O$ 将拼接结果投影回 $d_\text{model}$ 维，融合来自不同头的信息：

$\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \ldots, \text{head}_h) W^O \in \mathbb{R}^{n \times d_\text{model}}$

参数量分析（每个 MultiHead 层）：

• $h$ 个头的 $W_i^Q$：$h \times d_\text{model} \times d_k = d_\text{model}^2$（因为 $h \cdot d_k = d_\text{model}$）
• 同理 $W_i^K$，$W_i^V$：各 $d_\text{model}^2$
• $W^O$：$h d_v \times d_\text{model} = d_\text{model}^2$
• 总参数量：$4 d_\text{model}^2$（与单头完全相同！）

计算量分析：$h$ 个头，每个头维度 $d_k = d_\text{model}/h$，计算量 $\approx h \times O(n^2 d_k) = O(n^2 d_\text{model})$（与单头相同量级）。

📚 已收录至 拓展阅读知识库

📐 Transformer 核心组件：完整推导

一、正弦位置编码

变量定义：

• $pos$ = 序列中位置（$0, 1, \ldots, n-1$）
• $i$ = 编码向量的维度索引（$0, 1, \ldots, d_\text{model}/2 - 1$）
• $d_\text{model}$ = 模型维度

公式：

$PE_{(pos,\, 2i)} = \sin\!\left(\frac{pos}{10000^{2i/d_\text{model}}}\right), \quad PE_{(pos,\, 2i+1)} = \cos\!\left(\frac{pos}{10000^{2i/d_\text{model}}}\right)$

为什么用正弦/余弦？三个关键性质：

性质 1：每个位置有唯一编码——不同 $pos$ 的编码向量两两不同。

性质 2：可以用线性变换表示相对位置偏移。用三角恒等式展开：

$\sin(A + B) = \sin A \cos B + \cos A \sin B$

$\cos(A + B) = \cos A \cos B - \sin A \sin B$

设 $\omega_i = 1/10000^{2i/d_\text{model}}$，则 $PE_{pos+k}$ 可由 $PE_{pos}$ 线性表示：

$\begin{bmatrix} PE_{(pos+k, 2i)} \\ PE_{(pos+k, 2i+1)} \end{bmatrix} = \begin{bmatrix} \cos(k\omega_i) & \sin(k\omega_i) \\ -\sin(k\omega_i) & \cos(k\omega_i) \end{bmatrix} \begin{bmatrix} PE_{(pos, 2i)} \\ PE_{(pos, 2i+1)} \end{bmatrix}$

旋转矩阵只依赖偏移 $k$，不依赖绝对位置 $pos$——这意味着模型可以学习”相对偏移为 $k$ 的词之间的关系”，而不受绝对位置影响。

性质 3：低频分量（大 $i$，小 $\omega_i$）变化慢，捕捉长距离结构；高频分量（小 $i$，大 $\omega_i$）变化快，捕捉局部精细位置。

二、前馈网络（FFN）

$\text{FFN}(x) = W_2 \cdot \text{ReLU}(W_1 x + b_1) + b_2$

• $W_1 \in \mathbb{R}^{d_{ff} \times d_\text{model}}$，$W_2 \in \mathbb{R}^{d_\text{model} \times d_{ff}}$，$d_{ff} = 4 d_\text{model}$（先扩展 4 倍再压缩）
• 作用：在注意力聚合信息后，对每个位置独立做非线性变换
• 参数量：$2 \times d_\text{model} \times d_{ff} = 8 d_\text{model}^2$（约占 Transformer 总参数 2/3）

三、残差连接 + Layer Normalization（Post-LN）

$\text{output} = \text{LayerNorm}(x + \text{SubLayer}(x))$

残差连接的梯度传播：设 $y = x + f(x)$，则：

$\frac{\partial \mathcal{L}}{\partial x} = \frac{\partial \mathcal{L}}{\partial y} \cdot \frac{\partial y}{\partial x} = \frac{\partial \mathcal{L}}{\partial y}\left(1 + \frac{\partial f}{\partial x}\right)$

梯度中有 “+1” 项，即使 $\partial f/\partial x$ 很小（子层几乎不学习），梯度仍然能通过 “+1” 路径直接传到更早的层，避免梯度消失。

Layer Normalization：

$\text{LayerNorm}(x) = \frac{x - \mu}{\sigma + \epsilon} \cdot \gamma + \beta$

其中 $\mu, \sigma$ 是在特征维度上计算的（不同于 BatchNorm 在 batch 维度上计算）。

Pre-LN vs Post-LN：

• Post-LN（原始 Transformer）：$\text{LayerNorm}(x + \text{SubLayer}(x))$
• Pre-LN（现代 LLM 标准）：$x + \text{SubLayer}(\text{LayerNorm}(x))$
• Pre-LN 训练更稳定（梯度直接通过残差路径流动，不经过 LayerNorm），现代 LLM（GPT-2 之后）几乎全部采用 Pre-LN。

📚 已收录至 拓展阅读知识库