GRPO 改进谱系：DAPO / Dr.GRPO / GFPO / GSPO

📐 DAPO：非对称裁剪比率的数学机制

GRPO 标准裁剪（对称）：

$\mathcal{L}_{\text{clip}} = \min\left(r \cdot A, \text{clip}(r, 1-\epsilon, 1+\epsilon) \cdot A\right)$

当 $\epsilon_{\text{low}} = \epsilon_{\text{high}} = 0.2$：比率限定在 $[0.8, 1.2]$，正负方向同等约束。

DAPO 非对称裁剪（$\epsilon_{\text{low}} < \epsilon_{\text{high}}$）：

$r_{\text{clip}} = \text{clip}(r, 1 - \epsilon_{\text{low}}, 1 + \epsilon_{\text{high}})$

例如 $\epsilon_{\text{low}} = 0.2$，$\epsilon_{\text{high}} = 0.5$：比率限定在 $[0.8, 1.5]$。

为什么不对称有效：

• 增大 $\epsilon_{\text{high}}$：允许当前策略相比旧策略更大幅增加好的动作概率 → 保持探索能力（高熵）
• 保持 $\epsilon_{\text{low}}$：限制概率急剧下降 → 防止训练不稳定

熵的定义：$H(\pi) = -\sum_a \pi(a|s) \log \pi(a|s)$

当策略退化为接近 deterministic（集中在少数动作），熵 $H \to 0$，RL 停止探索。通过增大 $\epsilon_{\text{high}}$，维持 $H(\pi_t) > H_{\min}$（最小熵阈值），确保持续探索。

结果对比（1.5B 模型，8K steps）：

📐 Dr.GRPO 全局优势估计

用批次级全局统计替代组内统计：

$\hat{A}_{i}^{Dr} = \frac{R(q, o_i) - \overline{R}}{\sigma_R}$

$\overline{R} = \frac{1}{N}\sum_{j=1}^{B}\sum_{k=1}^{G} R(q_j, o_{j,k}), \quad \sigma_R = \text{std}\!\left(\{R(q_j, o_{j,k})\}_{j,k}\right)$

$j$ 遍历批次中所有 $B$ 个 prompt，$k$ 遍历每个 prompt 的 $G$ 个采样，共 $N = B \times G$ 个样本。

Dr.GRPO 完整目标：

$J_{DrGRPO}(\theta) = \sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|} \min\!\left(r_{i,t}\hat{A}_{i}^{Dr},\; \text{clip}(r_{i,t}, 1\!-\!\epsilon, 1\!+\!\epsilon)\hat{A}_{i}^{Dr}\right)$

关键差异：

📐 GSPO 序列级 IS 比率

将连乘改为 log-sum（几何平均形式）：

$\tilde{r}_{IS}^{seq}(y) = \exp\!\left(\frac{1}{|y|}\sum_{t=1}^{|y|} \log\frac{\pi_\theta(y_t|x, y_{<t})}{\pi_{old}(y_t|x, y_{<t})}\right)$

数学等价性：这是所有 token IS 比率的几何平均（而非算术乘积），数值始终在合理范围内。

GSPO 完整目标：

$J_{GSPO}(\theta) = \mathbb{E}_{x, \{y_i\}}\!\left[\frac{1}{G}\sum_{i=1}^{G} \min\!\left(\tilde{r}_i^{seq} \hat{A}_i,\; \text{clip}\!\left(\tilde{r}_i^{seq}, 1\!-\!\epsilon, 1\!+\!\epsilon\right)\hat{A}_i\right)\right]$

组内归一化优势 $\hat{A}_i$ 与 GRPO 相同，只替换 IS 比率计算方式。

数值对比（$|y|=4$，比率 $= [0.9, 1.1, 0.95, 1.05]$）：

短序列两者接近；但长序列（$|y|=500$）或比率方差大时，连乘会指数级发散，几何平均始终稳定。