RLP Information Gain Reward 推导

📐 RLP 的 Information Gain Reward 推导

核心思想：在预训练阶段，模型先生成隐式推理链 $c_t$（<think>...</think>），再预测下一个 token $x_t$。奖励衡量”思考是否帮助了预测”。

Information Gain Reward：

$r(c_t) = \log P_\theta(x_t | x_{<t}, c_t) - \log P_{\text{EMA}}(x_t | x_{<t})$

• 左项：带推理链的预测概率（当前模型）
• 右项：不带推理链的预测概率（EMA 基线模型，$\tau = 0.999$）
• 差值 > 0：推理链确实帮助了预测 → 正奖励
• 差值 < 0：推理链没帮上忙或帮倒忙 → 负奖励

为什么用 EMA 做基线：

$\theta_{\text{EMA}}^{(t)} = \tau \cdot \theta_{\text{EMA}}^{(t-1)} + (1 - \tau) \cdot \theta^{(t)}$

EMA 模型是”不思考的自己”的平滑版本，避免了需要单独训练 baseline 模型的开销。

训练目标（仅更新 thought tokens）：

$\mathcal{L}_{\text{RLP}} = \mathcal{L}_{\text{LM}}(x) + \alpha \cdot \mathcal{L}_{\text{GRPO}}(c; r)$

其中 $\mathcal{L}_{\text{LM}}$ 是标准 next-token loss（作用于所有 token），$\mathcal{L}_{\text{GRPO}}$ 只作用于 thought tokens 的策略梯度。