GRPO 目标函数与 Pass@K 的关系

📐 GRPO 目标函数与 Pass@K 的关系

GRPO（Group Relative Policy Optimization）目标：

$\mathcal{L}_{\text{GRPO}}(\theta) = \mathbb{E}_{q \sim P, \{o_i\}_{i=1}^{G} \sim \pi_{\theta_\text{old}}(\cdot|q)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( r_i(\theta) A_i, \text{clip}(r_i(\theta), 1-\epsilon, 1+\epsilon) A_i \right) - \beta D_{KL}(\pi_\theta \| \pi_{\text{ref}}) \right]$

其中 $r_i(\theta) = \frac{\pi_\theta(o_i|q)}{\pi_{\theta_\text{old}}(o_i|q)}$ 是重要性权重，$A_i = \frac{R_i - \bar{R}}{s_R}$ 是组内归一化优势。

Pass@K 与 Pass@1 的关系：

$\text{Pass@}K = 1 - \frac{\binom{n-c}{K}}{\binom{n}{K}} \approx 1 - \left(1 - \frac{c}{n}\right)^K$

其中 $n$ 是采样次数，$c$ 是正确回答数。

“Does RL Really Incentivize Reasoning?” 的关键发现（Yue et al. 2025）：

RL 训练后 Pass@1 上升（从 30% → 45%），但 Pass@100 下降（从 85% → 78%）。

这意味着 RL 减少了解空间的多样性，把概率质量集中到少数路径——是收敛而非扩展。