📐 语言模型概率的链式分解

联合概率 → 条件概率的乘积（链式法则 Chain Rule of Probability）：

$P(x^{(1)}, x^{(2)}, \ldots, x^{(T)}) = P(x^{(1)}) \cdot P(x^{(2)} | x^{(1)}) \cdot P(x^{(3)} | x^{(1)}, x^{(2)}) \cdots$

推导：

$P(A, B, C) = P(A) \cdot P(B|A) \cdot P(C|A,B)$

这是概率论的基本恒等式（条件概率定义：$P(B|A) = P(A,B)/P(A)$），无任何假设。

扩展到序列：

$P(x^{(1)}, \ldots, x^{(T)}) = \prod_{t=1}^{T} P(x^{(t)} | x^{(t-1)}, \ldots, x^{(1)})$

语言模型的任务：对每个 $t$，学习 $P(x^{(t)} | x^{(t-1)}, \ldots, x^{(1)})$，即给定历史预测下一个词。

困惑度（Perplexity）：测量语言模型”有多惊讶”于给定文本：

$\text{PPL} = \exp\left(-\frac{1}{T}\sum_{t=1}^T \log P(x^{(t+1)} | x^{(\le t)})\right) = \exp(J)$

$\text{PPL} = k$ 意味着模型在每个位置的平均不确定性相当于在 $k$ 个词中均匀随机猜测。PPL 越低，模型越好。

📚 已收录至 拓展阅读知识库

📐 N-gram 概率估计与平滑

马尔可夫假设（N-gram 的核心）：

$P(x^{(t+1)} | x^{(t)}, \ldots, x^{(1)}) \approx P(x^{(t+1)} | x^{(t)}, \ldots, x^{(t-n+2)})$

只保留最近 $n-1$ 个词的历史，使得条件历史有限，可以通过计数估计。

最大似然估计（MLE）：

$P(w | w_{t-n+2}, \ldots, w_t) \approx \frac{C(w_{t-n+2}, \ldots, w_t, w)}{C(w_{t-n+2}, \ldots, w_t)}$

其中 $C(\cdot)$ 是语料库中的计数。

稀疏性问题：如果分子为 0（$n$-gram 从未出现），概率为 0，且导致任何包含此 $n$-gram 的句子概率为 0。

解决方法 1 — Laplace 平滑（加一平滑）：

$P_{smooth}(w | h) = \frac{C(h, w) + \delta}{\sum_{w'} [C(h, w') + \delta]} = \frac{C(h, w) + \delta}{C(h) + \delta |V|}$

通过给每个词加小量 $\delta = 1$，保证所有概率 > 0。

解决方法 2 — Kneser-Ney 回退（Backoff）： 当 $n$-gram 未出现时，回退到 $(n-1)$-gram（递归直到 unigram）：

$P_{KN}(w | h) = \begin{cases} \max(C(h,w) - d, 0) / C(h) + \lambda(h) \cdot P_{KN}(w | h_{-1}) & \text{if } C(h,w) > 0 \\ P_{KN}(w | h_{-1}) & \text{otherwise} \end{cases}$

📚 已收录至 拓展阅读知识库

📐 RNN 前向传播与 BPTT

前向传播（Forward Pass）：

给定词嵌入序列 $x^{(1)}, \ldots, x^{(T)}$（每个 $x^{(t)} \in \mathbb{R}^d$）：

步骤 1：初始化 $h^{(0)} = \mathbf{0}$（或随机初始化）

步骤 2：逐步更新隐状态：

$h^{(t)} = \sigma(W_h h^{(t-1)} + W_x x^{(t)} + b_h)$

其中 $W_h \in \mathbb{R}^{n \times n}$（隐藏到隐藏），$W_x \in \mathbb{R}^{n \times d}$（输入到隐藏）

步骤 3：每步输出分布（softmax 预测下一词）：

$\hat{y}^{(t)} = \text{softmax}(W_y h^{(t)} + b_y)$

损失：$J^{(t)} = -\log P(x^{(t+1)} | x^{(\le t)}) = -\log \hat{y}^{(t)}_{x^{(t+1)}}$（正确词的对数概率）

总损失：$J = \frac{1}{T}\sum_{t=1}^{T} J^{(t)}$

反向传播（BPTT — Backpropagation Through Time）：

对 $W_h$ 求梯度时，需要跨时间步回传：

$\frac{\partial J^{(t)}}{\partial W_h} = \sum_{k=1}^{t} \frac{\partial J^{(t)}}{\partial h^{(t)}} \cdot \left(\prod_{j=k+1}^{t} \frac{\partial h^{(j)}}{\partial h^{(j-1)}}\right) \cdot \frac{\partial h^{(k)}}{\partial W_h}$

每一步的局部雅可比：$\frac{\partial h^{(j)}}{\partial h^{(j-1)}} = W_h^T \text{diag}(\sigma'(z^{(j)}))$（其中 $z^{(j)} = W_h h^{(j-1)} + \ldots$）

📚 已收录至 拓展阅读知识库

📐 梯度消失的数学原因

梯度链的展开（损失 $J^{(t)}$ 对早期隐状态 $h^{(k)}$ 的梯度）：

$\frac{\partial J^{(t)}}{\partial h^{(k)}} = \frac{\partial J^{(t)}}{\partial h^{(t)}} \cdot \prod_{j=k+1}^{t} \frac{\partial h^{(j)}}{\partial h^{(j-1)}}$

每一步的 Jacobian：

$\frac{\partial h^{(j)}}{\partial h^{(j-1)}} = W_h^T \cdot \text{diag}(\sigma'(z^{(j)}))$

谱半径决定命运：设 $W_h^T$ 的最大奇异值为 $\sigma_1$，激活函数的最大导数为 $\gamma$：

• 如果 $\sigma_1 \gamma < 1$：$t - k$ 步后梯度 $\sim (\sigma_1 \gamma)^{t-k} \to 0$（梯度消失）
• 如果 $\sigma_1 \gamma > 1$：梯度 $\sim (\sigma_1 \gamma)^{t-k} \to \infty$（梯度爆炸）
• 只有精确 $= 1$ 时梯度才稳定（实践中极难维持）

为什么激活函数导数也是关键：

• $\tanh'(z) = 1 - \tanh^2(z) \in (0, 1]$，在饱和区趋向 0
• sigmoid 的导数最大值仅 0.25，梯度消失更严重
• ReLU 在 $z > 0$ 区域导数 = 1，但负值区域梯度 = 0

Gradient Clipping 只治”爆炸”：

$\text{if } \|\hat{g}\| \ge \text{threshold}: \quad \hat{g} \leftarrow \frac{\text{threshold}}{\|\hat{g}\|} \hat{g}$

这等比例缩小梯度向量，保持方向但限制大小。不能增大消失的梯度。

📚 已收录至 拓展阅读知识库

📐 LSTM 完整推导——为什么门控能缓解梯度消失？

LSTM 的核心区别：引入记忆单元（cell state） $c^{(t)}$，通过加法更新而非乘法更新传递信息。

所有门的计算（共 4 个）：

$\begin{bmatrix} i \\ f \\ o \\ \tilde{c} \end{bmatrix}^{(t)} = \begin{bmatrix} \sigma \\ \sigma \\ \sigma \\ \tanh \end{bmatrix}\left(W \begin{bmatrix} h^{(t-1)} \\ x^{(t)} \end{bmatrix} + b\right)$

展开为：

• 遗忘门：$f^{(t)} = \sigma(W_f [h^{(t-1)}, x^{(t)}] + b_f) \in (0, 1)^n$
• 输入门：$i^{(t)} = \sigma(W_i [h^{(t-1)}, x^{(t)}] + b_i) \in (0, 1)^n$
• 候选记忆：$\tilde{c}^{(t)} = \tanh(W_c [h^{(t-1)}, x^{(t)}] + b_c) \in (-1, 1)^n$
• 输出门：$o^{(t)} = \sigma(W_o [h^{(t-1)}, x^{(t)}] + b_o) \in (0, 1)^n$

记忆单元（加法更新——关键！）：

$c^{(t)} = f^{(t)} \odot c^{(t-1)} + i^{(t)} \odot \tilde{c}^{(t)}$

隐状态（输出）：

$h^{(t)} = o^{(t)} \odot \tanh(c^{(t)})$

为什么加法更新能缓解梯度消失？

$c^{(t)}$ 对 $c^{(t-1)}$ 的梯度：

$\frac{\partial c^{(t)}}{\partial c^{(t-1)}} = f^{(t)}$

（忽略高阶项）。这是逐元素乘以遗忘门，而不是乘以大矩阵！

对比标准 RNN 的 $\frac{\partial h^{(t)}}{\partial h^{(t-1)}} = W_h^T \text{diag}(\sigma')$（矩阵乘法，连乘后快速衰减）。

如果遗忘门 $f^{(t)} \approx 1$（不遗忘），梯度 ≈ 1，不消失也不爆炸。这类似于 ResNet 的残差连接！

📚 已收录至 拓展阅读知识库

📐 条件语言模型的训练目标

目标：最大化给定源句 $x$ 时，目标句 $y$ 的对数似然：

$\mathcal{L} = \sum_{(x,y) \in \text{data}} \log P(y|x; \theta) = \sum_{(x,y)} \sum_{t=1}^{|y|} \log P(y_t | y_{<t}, x; \theta)$

Encoder-Decoder 分解：

• Encoder：$h_{\text{enc}} = \text{RNN}(x_1, \ldots, x_m)$，最终状态 $h_{\text{enc}}^{(m)}$ 作为初始 decoder 状态
• Decoder：$h_{\text{dec}}^{(t)} = \text{RNN}(y_{t-1}, h_{\text{dec}}^{(t-1)})$，$P(y_t | \ldots) = \text{softmax}(W h_{\text{dec}}^{(t)})$

瓶颈问题的数学表现：

• 整个源句 $x_1, \ldots, x_m$ 被压缩为一个向量 $h_{\text{enc}}^{(m)} \in \mathbb{R}^n$（固定维度）
• 无论源句多长（$m = 5$ 还是 $m = 100$），都要压缩到同样大小的向量
• 信息论：固定容量的”瓶颈”对长句信息损失严重

解决方案（引出注意力）：让 decoder 在每一步直接访问所有 encoder 隐状态 $\{h_{\text{enc}}^{(1)}, \ldots, h_{\text{enc}}^{(m)}\}$，而非只用最后一个状态。

📚 已收录至 拓展阅读知识库