📐 语言模型概率的链式分解

联合概率 → 条件概率的乘积（链式法则 Chain Rule of Probability）：

$P(x^{(1)}, x^{(2)}, \ldots, x^{(T)}) = P(x^{(1)}) \cdot P(x^{(2)} | x^{(1)}) \cdot P(x^{(3)} | x^{(1)}, x^{(2)}) \cdots$

推导： $P(A, B, C) = P(A) \cdot P(B|A) \cdot P(C|A,B)$

这是概率论的基本恒等式（条件概率定义：$P(B|A) = P(A,B)/P(A)$），无任何假设。

扩展到序列： $P(x^{(1)}, \ldots, x^{(T)}) = \prod_{t=1}^{T} P(x^{(t)} | x^{(t-1)}, \ldots, x^{(1)})$

语言模型的任务：对每个 $t$，学习 $P(x^{(t)} | x^{(t-1)}, \ldots, x^{(1)})$，即给定历史预测下一个词。

困惑度（Perplexity）：测量语言模型”有多惊讶”于给定文本： $\text{PPL} = \exp\left(-\frac{1}{T}\sum_{t=1}^T \log P(x^{(t+1)} | x^{(\le t)})\right) = \exp(J)$

$\text{PPL} = k$ 意味着模型在每个位置的平均不确定性相当于在 $k$ 个词中均匀随机猜测。PPL 越低，模型越好。

📐 N-gram 概率估计与平滑

马尔可夫假设（N-gram 的核心）： $P(x^{(t+1)} | x^{(t)}, \ldots, x^{(1)}) \approx P(x^{(t+1)} | x^{(t)}, \ldots, x^{(t-n+2)})$

只保留最近 $n-1$ 个词的历史，使得条件历史有限，可以通过计数估计。

最大似然估计（MLE）： $P(w | w_{t-n+2}, \ldots, w_t) \approx \frac{C(w_{t-n+2}, \ldots, w_t, w)}{C(w_{t-n+2}, \ldots, w_t)}$

其中 $C(\cdot)$ 是语料库中的计数。

稀疏性问题：如果分子为 0（$n$-gram 从未出现），概率为 0，且导致任何包含此 $n$-gram 的句子概率为 0。

解决方法 1 — Laplace 平滑（加一平滑）： $P_{smooth}(w | h) = \frac{C(h, w) + \delta}{\sum_{w'} [C(h, w') + \delta]} = \frac{C(h, w) + \delta}{C(h) + \delta |V|}$

通过给每个词加小量 $\delta = 1$，保证所有概率 > 0。

解决方法 2 — Kneser-Ney 回退（Backoff）： 当 $n$-gram 未出现时，回退到 $(n-1)$-gram（递归直到 unigram）： $P_{KN}(w | h) = \begin{cases} \max(C(h,w) - d, 0) / C(h) + \lambda(h) \cdot P_{KN}(w | h_{-1}) & \text{if } C(h,w) > 0 \\ P_{KN}(w | h_{-1}) & \text{otherwise} \end{cases}$

📐 条件语言模型的训练目标

目标：最大化给定源句 $x$ 时，目标句 $y$ 的对数似然： $\mathcal{L} = \sum_{(x,y) \in \text{data}} \log P(y|x; \theta) = \sum_{(x,y)} \sum_{t=1}^{|y|} \log P(y_t | y_{<t}, x; \theta)$

Encoder-Decoder 分解：

• Encoder：$h_{\text{enc}} = \text{RNN}(x_1, \ldots, x_m)$，最终状态 $h_{\text{enc}}^{(m)}$ 作为初始 decoder 状态
• Decoder：$h_{\text{dec}}^{(t)} = \text{RNN}(y_{t-1}, h_{\text{dec}}^{(t-1)})$，$P(y_t | \ldots) = \text{softmax}(W h_{\text{dec}}^{(t)})$

瓶颈问题的数学表现：

• 整个源句 $x_1, \ldots, x_m$ 被压缩为一个向量 $h_{\text{enc}}^{(m)} \in \mathbb{R}^n$（固定维度）
• 无论源句多长（$m = 5$ 还是 $m = 100$），都要压缩到同样大小的向量
• 信息论：固定容量的”瓶颈”对长句信息损失严重

解决方案（引出注意力）：让 decoder 在每一步直接访问所有 encoder 隐状态 $\{h_{\text{enc}}^{(1)}, \ldots, h_{\text{enc}}^{(m)}\}$，而非只用最后一个状态。