DAPO 非对称裁剪比率的数学机制

📐 DAPO：非对称裁剪比率的数学机制

GRPO 标准裁剪（对称）：

$\mathcal{L}_{\text{clip}} = \min\left(r \cdot A, \text{clip}(r, 1-\epsilon, 1+\epsilon) \cdot A\right)$

当 $\epsilon_{\text{low}} = \epsilon_{\text{high}} = 0.2$：比率限定在 $[0.8, 1.2]$，正负方向同等约束。

DAPO 非对称裁剪（$\epsilon_{\text{low}} < \epsilon_{\text{high}}$）：

$r_{\text{clip}} = \text{clip}(r, 1 - \epsilon_{\text{low}}, 1 + \epsilon_{\text{high}})$

例如 $\epsilon_{\text{low}} = 0.2$，$\epsilon_{\text{high}} = 0.5$：比率限定在 $[0.8, 1.5]$。

为什么不对称有效：

• 增大 $\epsilon_{\text{high}}$：允许当前策略相比旧策略更大幅增加好的动作概率 → 保持探索能力（高熵）
• 保持 $\epsilon_{\text{low}}$：限制概率急剧下降 → 防止训练不稳定

熵的定义：$H(\pi) = -\sum_a \pi(a|s) \log \pi(a|s)$

当策略退化为接近 deterministic（集中在少数动作），熵 $H \to 0$，RL 停止探索。通过增大 $\epsilon_{\text{high}}$，维持 $H(\pi_t) > H_{\min}$（最小熵阈值），确保持续探索。

结果对比（1.5B 模型，8K steps）：