📐 主要解码策略的数学定义

Greedy Decoding：

$y_t = \arg\max_{w} P(w \mid y_{<t}, x)$

Beam Search（束宽 $b$，带长度归一化）：

$\text{score}(y_{1:t}) = \frac{1}{t} \sum_{i=1}^{t} \log P(y_i \mid y_{<i}, x)$

每步保留联合分数最高的 $b$ 条路径，最终从 $b$ 条完整序列中选最优。

Temperature Sampling：

$P_\tau(w \mid y_{<t}) = \frac{\exp(\text{logit}(w) / \tau)}{\sum_{w'} \exp(\text{logit}(w') / \tau)}$

• $\tau \to 0$：趋向 greedy（最确定）；$\tau \to \infty$：趋向均匀（最随机）；$\tau = 1$：原始分布

Top-p (Nucleus) Sampling：

$\text{nucleus}(p) = \min\{w_{(1)}, \ldots, w_{(k)}\} \quad \text{s.t.} \quad \sum_{i=1}^k P(w_{(i)}) \ge p$

按概率降序排列词汇，取累积概率刚超过 $p$ 的最小集合，再在此集合内按归一化概率采样。自适应调整候选集大小——分布尖锐时 $k$ 小，分布平坦时 $k$ 大。

📚 已收录至 拓展阅读知识库

📐 DeepSeek-R1 四阶段训练流程

Stage 1：Cold Start SFT

用少量（数千条）人工筛选的 (prompt, long CoT, answer) 做监督微调，目的是让模型学会基本的”思考”格式（<think>...</think> 标签结构），避免后续 RL 从完全混乱的输出起步。

Stage 2：RL for Reasoning（核心阶段）

使用 GRPO 做纯 RL 训练，奖励函数只依赖最终答案：

$r(y) = \begin{cases} 1.0 & \text{最终答案正确} \\ 0.0 & \text{最终答案错误} \\ 0.1 & \text{格式奖励（正确使用 </think> 标签）} \end{cases}$

关键：不使用 Process Reward Model（PRM），只验证最终结果。对于数学题用精确匹配，代码题用单元测试执行。

Stage 3：Rejection Sampling SFT

对 Stage 2 的模型大规模采样，过滤出高质量推理路径（答案正确 + CoT 合理），混合通用能力数据，重新做 SFT。这一步修复了 R1-Zero 的语言混杂问题。

Stage 4：General RLHF

在 Stage 3 的 SFT 模型上继续 RLHF，覆盖安全对齐、指令遵循等通用能力，得到最终的 R1。

📚 已收录至 拓展阅读知识库

📐 PPO / GRPO / DAPO 核心差异

PPO（近端策略优化）——需要 4 个模型：

$J_{\text{PPO}} = \mathbb{E}\left[\min\left(\rho_t A_t,\ \text{clip}(\rho_t, 1-\epsilon, 1+\epsilon)\, A_t\right) - \beta D_{\text{KL}}(\pi_\theta \| \pi_{\text{ref}})\right]$

其中 $\rho_t = \pi_\theta(a_t|s_t) / \pi_{\text{old}}(a_t|s_t)$ 是重要性采样比，$A_t$ 由 GAE（广义优势估计）+ 价值网络计算。需要：策略网络、参考模型、奖励模型、价值网络（4 个）。

GRPO（组相对策略优化）——去掉价值网络，只需 2 个模型：

对同一问题 $x$ 采样 $G$ 个回答 $\{y_1, \ldots, y_G\}$，用组内统计替代价值网络：

$A_i = \frac{r_i - \mu_G}{\sigma_G + \varepsilon}, \quad J_{\text{GRPO}} = \mathbb{E}\left[\min(\rho_i A_i,\ \text{clip}(\rho_i, 1\pm\epsilon)\,A_i) - \beta D_{\text{KL}}\right]$

DAPO（动态采样策略优化）——解决 GRPO 的 entropy collapse：

GRPO 训练后期模型探索不足（总是采样相似回答，$\sigma_G \to 0$，梯度消失）。DAPO 引入：

• Clip-Higher：上下界不对称（$[1-\epsilon_l, 1+\epsilon_h]$，$\epsilon_h > \epsilon_l$），鼓励探索
• Dynamic Sampling：过滤掉全对/全错的 batch（$\sigma_G=0$，梯度为零，纯浪费计算）
• Token-level Loss：loss 按 token 平均而非按序列平均，避免短序列主导梯度

📚 已收录至 拓展阅读知识库

📐 Chain-of-Thought 的概率论视角

标准语言模型：直接从输入 $x$ 预测答案 $y$：

$P(y \mid x) = \pi_{LM}(y \mid x)$

CoT 语言模型：显式生成中间推理步骤 $z$（思维链），再预测答案：

$P(y \mid x) = \sum_{z} P(y, z \mid x) = \sum_{z} P(y \mid z, x) \cdot P(z \mid x)$

实践中取单条 CoT 路径的近似：$P(y \mid x) \approx P(y \mid \hat{z}, x)$，其中 $\hat{z}$ 是模型自回归生成的推理链。

Token Budget 视角：推理链 $z$ 占用 $|z|$ 个 token，每个 token 对应模型一次完整的 attention + FFN 计算。更多 token = 更多”计算步骤” = 更大的有效计算深度。

CoT 本质上是用推理时计算（inference-time compute）弥补模型参数容量的不足——把”一步完成的困难跳跃”分解成”多步可完成的简单推导”。

📚 已收录至 拓展阅读知识库