📐 预训练 LM 与助手模型的目标差异

预训练语言模型的目标：在给定任意前缀的情况下，预测最可能的下一个 token：

$P_{LM}(x_{t+1} \mid x_{\leq t}; \theta)$

这个目标对输入内容完全无偏——给定 “The sky is” 和给定 “How do I make a bomb? Answer:” 都一视同仁，只预测下一个最可能的 token。

助手模型的目标：给定用户请求 $x$ 和系统角色描述 $r$，生成有帮助的回复：

$P_{assistant}(y \mid x, r; \theta) \quad \text{其中 } y \text{ 最大化用户满意度}$

两者的根本差异：LM 目标是描述性的（世界上的文本是什么样的），助手目标是规范性的（回复应该是什么样的）。这个差距——对齐问题（Alignment Problem）——是后训练（post-training）存在的根本原因。

📚 已收录至 拓展阅读知识库

📐 SFT 目标函数

监督微调（Supervised Fine-Tuning） 与标准语言模型训练的区别仅在于损失计算的范围：

$J_{SFT}(\theta) = -\sum_{(x_i, y_i) \in D_{SFT}} \sum_{t=1}^{|y_i|} \log P_\theta\!\left(y_i^{(t)} \mid y_i^{(<t)}, x_i\right)$

• $(x_i, y_i)$：（指令 / 用户请求，示范回复）对
• 只在回复 $y_i$ 上计算损失，指令 $x_i$ 的 token 损失被 mask 掉（不参与梯度更新）
• 这与标准 CLM 预训练的区别：SFT 的模型需要学的是”给定指令，生成好的回复”，而不是”给定任意前缀，续写任意文本”

数学上，SFT 等价于在条件分布 $P(y \mid x)$ 上做最大似然估计（MLE），以人类示范回复作为正样本。

📚 已收录至 拓展阅读知识库

📐 RLHF 完整流程的数学推导

Step 1：训练奖励模型（Reward Model）

收集人类偏好数据：对同一输入 $x$，标注者标记哪个回复更好，形成偏好对 $(y_w, y_l)$（winner, loser）。

基于 Bradley-Terry 偏好模型（人类选择 $y_w$ 优于 $y_l$ 的概率）：

$P(y_w \succ y_l \mid x) = \sigma(r(x, y_w) - r(x, y_l))$

训练 RM 最大化偏好数据的对数似然（最小化负对数似然）：

$J_{RM} = -\mathbb{E}_{(x, y_w, y_l) \sim D_{pref}} \left[\log \sigma\!\left(r_\phi(x, y_w) - r_\phi(x, y_l)\right)\right]$

Step 2：PPO 微调策略

最大化奖励，同时通过 KL 惩罚约束策略不偏离参考模型过远：

$J_{PPO}(\theta) = \mathbb{E}_{x \sim D,\, y \sim \pi_\theta(\cdot|x)}\!\left[r_\phi(x, y) - \beta \cdot \log\frac{\pi_\theta(y \mid x)}{\pi_{ref}(y \mid x)}\right]$

其中 $\beta \in [0.01, 0.1]$ 是 KL 惩罚系数，$\pi_{ref}$ 是 SFT 模型（固定不更新）。

完整训练所需的模型数量：Policy（更新） + Reference（固定） + Reward（固定） + Value（更新）= 4 个模型同时在显存中，这是 PPO 内存开销大的根本原因。

📚 已收录至 拓展阅读知识库

📐 InstructGPT 三阶段训练流水线

阶段 1 — SFT：在人工示范数据上监督微调，得到 $\pi_{SFT}$：

$\theta_{SFT} = \arg\max_\theta \sum_{(x,y)\in D_{SFT}} \log P_\theta(y \mid x)$

阶段 2 — RM 训练：学习人类偏好排序，得到奖励函数 $r_\phi(x, y)$：

$\phi^* = \arg\min_\phi -\mathbb{E}_{(x,y_w,y_l)}\left[\log\sigma(r_\phi(x,y_w) - r_\phi(x,y_l))\right]$

阶段 3 — PPO：在 RM 的奖励下优化策略，约束不偏离 $\pi_{SFT}$：

$\theta^* = \arg\max_\theta \mathbb{E}_{y \sim \pi_\theta}\left[r_\phi(x,y) - \beta \cdot KL(\pi_\theta \| \pi_{SFT})\right]$

关键结论（InstructGPT 论文原文数字）：

在人类评测中，1.3B 参数 InstructGPT 优于 175B 参数 GPT-3（85% 的评测者偏好 InstructGPT 输出）。参数量相差 134 倍，但对齐使小模型胜出——说明行为对齐的收益远超单纯的模型规模。

📚 已收录至 拓展阅读知识库

📐 DPO 从 RLHF 目标的完整推导

Step 1：RLHF 目标的最优解

RLHF 最大化（对每个输入 $x$，对所有可能输出 $y$ 求最优）：

$\max_{\pi_\theta} \mathbb{E}_{y \sim \pi_\theta}\left[r(x,y)\right] - \beta \cdot KL\left[\pi_\theta(y|x) \| \pi_{ref}(y|x)\right]$

对此目标关于 $\pi_\theta$ 取变分，令导数为零，得闭式最优策略：

$\pi^*(y|x) = \frac{1}{Z(x)}\, \pi_{ref}(y|x)\exp\!\left(\frac{r(x,y)}{\beta}\right)$

其中 $Z(x) = \sum_y \pi_{ref}(y|x)\exp\!\left(\frac{r(x,y)}{\beta}\right)$ 是归一化常数（配分函数）。

Step 2：反解奖励函数

由上式取对数，用 $\pi^*$ 表示 $r$：

$r(x,y) = \beta \log\frac{\pi^*(y|x)}{\pi_{ref}(y|x)} + \beta \log Z(x)$

Step 3：代入 Bradley-Terry 偏好模型

$P(y_w \succ y_l \mid x) = \sigma(r(x,y_w) - r(x,y_l))$

代入 $r$ 的表达式，$\beta \log Z(x)$ 在差值中完全抵消：

$P(y_w \succ y_l \mid x) = \sigma\!\left(\beta \log\frac{\pi^*(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log\frac{\pi^*(y_l|x)}{\pi_{ref}(y_l|x)}\right)$

Step 4：DPO 损失（用 $\pi_\theta$ 近似 $\pi^*$，最大化偏好对数似然）：

$J_{DPO}(\theta) = -\mathbb{E}_{(x,y_w,y_l)}\!\left[\log\sigma\!\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)\right]$

结论：DPO 完全绕过了奖励模型的训练，直接用偏好数据优化策略，且数学上等价于 RLHF 的最优解。

📚 已收录至 拓展阅读知识库

📐 GRPO 目标函数推导

核心思想：PPO 需要一个单独的 Value Network（价值网络）来估计优势函数（Advantage）$A(x,y)$——这个网络和策略网络一样大，代价极高。GRPO 用组内相对奖励代替价值网络。

Step 1：组内采样

对同一输入 $x$，从当前策略采样 $G$ 个输出 $\{y_1, \ldots, y_G\}$，计算各自奖励 $\{r_1, \ldots, r_G\}$。

Step 2：优势估计（组内归一化）

$A_i = \frac{r_i - \mu_r}{\sigma_r}, \quad \mu_r = \frac{1}{G}\sum_{j=1}^G r_j, \quad \sigma_r = \sqrt{\frac{1}{G}\sum_{j=1}^G (r_j - \mu_r)^2}$

$A_i > 0$ 表示第 $i$ 个输出优于组内平均，$A_i < 0$ 则相反。

Step 3：GRPO 目标（结合 PPO clip 技巧）

$J_{GRPO}(\theta) = \mathbb{E}_{x,\{y_i\}}\!\left[\frac{1}{G}\sum_{i=1}^G \min\!\left(\frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} A_i,\; \text{clip}\!\left(\frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)}, 1\!-\!\epsilon, 1\!+\!\epsilon\right) A_i\right) - \beta\, D_{KL}(\pi_\theta \| \pi_{ref})\right]$

与 PPO 的对比：PPO 用 $A_i = r_i - V_\phi(x)$（$V_\phi$ 是价值网络），而 GRPO 用组内统计替代，消除了对价值网络的需求，节省了约 50% 的训练显存。

📚 已收录至 拓展阅读知识库