📐 预训练 LM 与助手模型的目标差异

预训练语言模型的目标：在给定任意前缀的情况下，预测最可能的下一个 token：

$P_{LM}(x_{t+1} \mid x_{\leq t}; \theta)$

这个目标对输入内容完全无偏——给定 “The sky is” 和给定 “How do I make a bomb? Answer:” 都一视同仁，只预测下一个最可能的 token。

助手模型的目标：给定用户请求 $x$ 和系统角色描述 $r$，生成有帮助的回复：

$P_{assistant}(y \mid x, r; \theta) \quad \text{其中 } y \text{ 最大化用户满意度}$

两者的根本差异：LM 目标是描述性的（世界上的文本是什么样的），助手目标是规范性的（回复应该是什么样的）。这个差距——对齐问题（Alignment Problem）——是后训练（post-training）存在的根本原因。

📚 已收录至 拓展阅读知识库

📐 SFT 目标函数

监督微调（Supervised Fine-Tuning） 与标准语言模型训练的区别仅在于损失计算的范围：

$J_{SFT}(\theta) = -\sum_{(x_i, y_i) \in D_{SFT}} \sum_{t=1}^{|y_i|} \log P_\theta\!\left(y_i^{(t)} \mid y_i^{(<t)}, x_i\right)$

• $(x_i, y_i)$：（指令 / 用户请求，示范回复）对
• 只在回复 $y_i$ 上计算损失，指令 $x_i$ 的 token 损失被 mask 掉（不参与梯度更新）
• 这与标准 CLM 预训练的区别：SFT 的模型需要学的是”给定指令，生成好的回复”，而不是”给定任意前缀，续写任意文本”

数学上，SFT 等价于在条件分布 $P(y \mid x)$ 上做最大似然估计（MLE），以人类示范回复作为正样本。

📚 已收录至 拓展阅读知识库

📐 CLM vs SFT：Token 级损失的精确对比

设完整序列 $S = [x_1, \ldots, x_m, y_1, \ldots, y_n]$，其中 $x_{1:m}$ 是指令 token，$y_{1:n}$ 是回复 token。

CLM（因果语言建模，预训练目标）——对所有 $T = m + n$ 个位置计算损失：

$J_{CLM}(\theta) = -\frac{1}{T}\sum_{t=1}^{T} \log P_\theta(s_t \mid s_{<t})$

每个 token 都参与梯度更新，模型学的是”这段文字整体的续写概率”。

SFT（监督微调，指令微调使用）——引入 loss mask $m_t \in \{0, 1\}$，只在回复部分计算损失：

$J_{SFT}(\theta) = -\frac{1}{\sum_t m_t}\sum_{t=1}^{T} m_t \cdot \log P_\theta(s_t \mid s_{<t})$

其中

$m_t = \begin{cases} 0 & t \leq m \quad (\text{指令 token，mask 掉}) \\ 1 & t > m \quad (\text{回复 token，计算损失}) \end{cases}$

两者的梯度差异：

$\frac{\partial J_{SFT}}{\partial \theta} = -\frac{1}{n} \sum_{t=m+1}^{m+n} \frac{\partial \log P_\theta(s_t \mid s_{<t})}{\partial \theta}$

注意：指令 token $x_{1:m}$ 仍参与前向传播（在 attention context 中可见），只是不产生梯度。这与把指令截断掉完全不同——模型需要”看到”指令才能生成正确回复，只是不需要”学会生成”指令。

三者等价关系：若指令长度 $m \to 0$（纯文本续写），SFT 退化为 CLM；若 $m \to T$（全部 mask），则 $J_{SFT} = 0$，无梯度信号。

📚 已收录至 拓展阅读知识库

📐 RLHF 完整流程的数学推导

Step 1：训练奖励模型（Reward Model）

收集人类偏好数据：对同一输入 $x$，标注者标记哪个回复更好，形成偏好对 $(y_w, y_l)$（winner, loser）。

基于 Bradley-Terry 偏好模型（人类选择 $y_w$ 优于 $y_l$ 的概率）：

$P(y_w \succ y_l \mid x) = \sigma(r(x, y_w) - r(x, y_l))$

训练 RM 最大化偏好数据的对数似然（最小化负对数似然）：

$J_{RM} = -\mathbb{E}_{(x, y_w, y_l) \sim D_{pref}} \left[\log \sigma\!\left(r_\phi(x, y_w) - r_\phi(x, y_l)\right)\right]$

Step 2：PPO 微调策略

最大化奖励，同时通过 KL 惩罚约束策略不偏离参考模型过远：

$J_{PPO}(\theta) = \mathbb{E}_{x \sim D,\, y \sim \pi_\theta(\cdot|x)}\!\left[r_\phi(x, y) - \beta \cdot \log\frac{\pi_\theta(y \mid x)}{\pi_{ref}(y \mid x)}\right]$

其中 $\beta \in [0.01, 0.1]$ 是 KL 惩罚系数，$\pi_{ref}$ 是 SFT 模型（固定不更新）。

完整训练所需的模型数量：Policy（更新） + Reference（固定） + Reward（固定） + Value（更新）= 4 个模型同时在显存中，这是 PPO 内存开销大的根本原因。

📚 已收录至 拓展阅读知识库

📐 PPO 算法核心机制：Clip 目标与 LLM Token 级实现

为什么朴素 Policy Gradient（REINFORCE）不够用？

REINFORCE 梯度：$\nabla_\theta J = \mathbb{E}_{y \sim \pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(y|x) \cdot A(x,y)\right]$

当一步更新过大时，$\pi_\theta$ 与旧策略 $\pi_{old}$ 偏离严重，重要性权重 $\frac{\pi_\theta}{\pi_{old}}$ 方差爆炸，训练崩溃。

PPO 的解法：Clip 重要性权重

定义 token $t$ 的重要性比：

$r_t(\theta) = \frac{\pi_\theta(y_t \mid x, y_{<t})}{\pi_{old}(y_t \mid x, y_{<t})}$

PPO Clip 损失（$\epsilon = 0.2$ 为标准值）：

$L^{CLIP}(\theta) = \mathbb{E}_t\!\left[\min\!\left(r_t(\theta)\cdot A_t,\;\; \text{clip}(r_t(\theta),\, 1-\epsilon,\, 1+\epsilon)\cdot A_t\right)\right]$

Clip 行为直觉：

本质：min 函数确保目标函数是悲观下界——只允许对策略有利的情况”按实际”计，对策略不利的情况”按被截断的保守值”计。

LLM 后训练中的 Token 级 MDP 映射

完整的 token 级奖励信号：

$\tilde{r}_t = \begin{cases} r_\phi(x, y_{1:T}) - \beta \log\dfrac{\pi_\theta(y_T|s_T)}{\pi_{ref}(y_T|s_T)} & t = T \\ -\beta \log\dfrac{\pi_\theta(y_t|s_t)}{\pi_{ref}(y_t|s_t)} & t < T \end{cases}$

优势函数用 GAE（广义优势估计）从 Value Network 计算：$A_t^{GAE} = \sum_{k \geq 0}(\gamma\lambda)^k \delta_{t+k}$，其中 $\delta_t = \tilde{r}_t + \gamma V_\phi(s_{t+1}) - V_\phi(s_t)$。

RLHF-PPO 的 4 模型架构

Value Network 与 Policy 等大且需要梯度，这是 PPO 显存开销是 DPO 两倍的根本原因。GRPO 的核心创新就是消除它。

📚 已收录至 拓展阅读知识库

📐 InstructGPT 三阶段训练流水线

阶段 1 — SFT：在人工示范数据上监督微调，得到 $\pi_{SFT}$：

$\theta_{SFT} = \arg\max_\theta \sum_{(x,y)\in D_{SFT}} \log P_\theta(y \mid x)$

阶段 2 — RM 训练：学习人类偏好排序，得到奖励函数 $r_\phi(x, y)$：

$\phi^* = \arg\min_\phi -\mathbb{E}_{(x,y_w,y_l)}\left[\log\sigma(r_\phi(x,y_w) - r_\phi(x,y_l))\right]$

阶段 3 — PPO：在 RM 的奖励下优化策略，约束不偏离 $\pi_{SFT}$：

$\theta^* = \arg\max_\theta \mathbb{E}_{y \sim \pi_\theta}\left[r_\phi(x,y) - \beta \cdot KL(\pi_\theta \| \pi_{SFT})\right]$

关键结论（InstructGPT 论文原文数字）：

在人类评测中，1.3B 参数 InstructGPT 优于 175B 参数 GPT-3（85% 的评测者偏好 InstructGPT 输出）。参数量相差 134 倍，但对齐使小模型胜出——说明行为对齐的收益远超单纯的模型规模。

📚 已收录至 拓展阅读知识库

📐 DPO 从 RLHF 目标的完整推导

Step 1：RLHF 目标的最优解

RLHF 最大化（对每个输入 $x$，对所有可能输出 $y$ 求最优）：

$\max_{\pi_\theta} \mathbb{E}_{y \sim \pi_\theta}\left[r(x,y)\right] - \beta \cdot KL\left[\pi_\theta(y|x) \| \pi_{ref}(y|x)\right]$

对此目标关于 $\pi_\theta$ 取变分，令导数为零，得闭式最优策略：

$\pi^*(y|x) = \frac{1}{Z(x)}\, \pi_{ref}(y|x)\exp\!\left(\frac{r(x,y)}{\beta}\right)$

其中 $Z(x) = \sum_y \pi_{ref}(y|x)\exp\!\left(\frac{r(x,y)}{\beta}\right)$ 是归一化常数（配分函数）。

Step 2：反解奖励函数

由上式取对数，用 $\pi^*$ 表示 $r$：

$r(x,y) = \beta \log\frac{\pi^*(y|x)}{\pi_{ref}(y|x)} + \beta \log Z(x)$

Step 3：代入 Bradley-Terry 偏好模型

$P(y_w \succ y_l \mid x) = \sigma(r(x,y_w) - r(x,y_l))$

代入 $r$ 的表达式，$\beta \log Z(x)$ 在差值中完全抵消：

$P(y_w \succ y_l \mid x) = \sigma\!\left(\beta \log\frac{\pi^*(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log\frac{\pi^*(y_l|x)}{\pi_{ref}(y_l|x)}\right)$

Step 4：DPO 损失（用 $\pi_\theta$ 近似 $\pi^*$，最大化偏好对数似然）：

$J_{DPO}(\theta) = -\mathbb{E}_{(x,y_w,y_l)}\!\left[\log\sigma\!\left(\beta\log\frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)\right]$

结论：DPO 完全绕过了奖励模型的训练，直接用偏好数据优化策略，且数学上等价于 RLHF 的最优解。

📚 已收录至 拓展阅读知识库

📐 GRPO 目标函数推导

核心思想：PPO 需要一个单独的 Value Network（价值网络）来估计优势函数（Advantage）$A(x,y)$——这个网络和策略网络一样大，代价极高。GRPO 用组内相对奖励代替价值网络。

Step 1：组内采样

对同一输入 $x$，从当前策略采样 $G$ 个输出 $\{y_1, \ldots, y_G\}$，计算各自奖励 $\{r_1, \ldots, r_G\}$。

Step 2：优势估计（组内归一化）

$A_i = \frac{r_i - \mu_r}{\sigma_r}, \quad \mu_r = \frac{1}{G}\sum_{j=1}^G r_j, \quad \sigma_r = \sqrt{\frac{1}{G}\sum_{j=1}^G (r_j - \mu_r)^2}$

$A_i > 0$ 表示第 $i$ 个输出优于组内平均，$A_i < 0$ 则相反。

Step 3：GRPO 目标（结合 PPO clip 技巧）

$J_{GRPO}(\theta) = \mathbb{E}_{x,\{y_i\}}\!\left[\frac{1}{G}\sum_{i=1}^G \min\!\left(\frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} A_i,\; \text{clip}\!\left(\frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)}, 1\!-\!\epsilon, 1\!+\!\epsilon\right) A_i\right) - \beta\, D_{KL}(\pi_\theta \| \pi_{ref})\right]$

与 PPO 的对比：PPO 用 $A_i = r_i - V_\phi(x)$（$V_\phi$ 是价值网络），而 GRPO 用组内统计替代，消除了对价值网络的需求，节省了约 50% 的训练显存。

📚 已收录至 拓展阅读知识库

📐 GRPO vs PPO：优势估计的根本差异

两者的分歧核心是如何估计优势函数 $A_t$。

PPO 的方式（需要 Critic）：

$A_t^{PPO} = \tilde{r}_t + \gamma V_\phi(s_{t+1}) - V_\phi(s_t) \quad \text{（TD 误差，GAE 展开）}$

$V_\phi$ 是独立的价值网络，参数量与策略相当，在每个 token 位置给出”期望累计回报”的估计。

GRPO 的方式（组内归一化，无需 Critic）：

$A_i^{GRPO} = \frac{r_i - \mu_G}{\sigma_G}, \quad \mu_G = \frac{1}{G}\sum_{j=1}^G r_j, \quad \sigma_G = \text{std}(r_{1:G})$

对同一输入采样 $G$ 个输出，以组内相对排名代替价值函数。

数学等价性：当 $G \to \infty$ 时，$\mu_G \to \mathbb{E}[r] \approx V(s_0)$——GRPO 的组内均值渐近地等价于 PPO 的 Critic 对初始状态的估计。GRPO 本质上是用 Monte Carlo 采样隐式替代了参数化 Critic。

RPO（Reward Policy Optimization）的定义与位置

RPO 是一类方法的统称：以奖励模型（RM）显式评分为驱动，通过参考策略（Reference Policy）施加正则化，优化策略的奖励期望。标准 RLHF + PPO 是 RPO 家族的典型实现。

RPO 的一般形式：

$J_{RPO}(\theta) = \mathbb{E}_{y \sim \pi_\theta}\!\left[r_\phi(x, y)\right] - \beta\, \mathbb{E}\!\left[\log\frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)}\right]$

GRPO 可以看作 RPO 的一个特例：用组内奖励均值替代 Critic 估计 $V(s)$，并保留同样的 KL 正则化项。

GRPO vs PPO（RPO 标准实现）vs REINFORCE 三路对比：