GRPO

为了干掉 Critic 网络，也就是 $V$ 网络，换成直接使用 Actor 网络多次采样代替。

GRPO 采用 PPO 的变体类似的组合建模问题：

$$\begin{aligned} J(\theta) &= \sum_{g = 1}^G \left[\frac 1 {T_g} \sum_{t = 0}^{T_g}\min \left\{ r_t A_{g, t}, {\rm clip}\left(r_t, 1 - \epsilon, 1 + \epsilon\right) A_{g, t} \right\} - \beta D_{KL}(\pi_\theta \| \pi_{ref}) \right] \end{aligned} $$

其中 $G$ 是采样的组，$r_t = \frac {\pi_{\hat \theta}(a_{g, t} | s_t)}{\pi_{\theta}(a_{g, t} | s_t)}$，$A_g$ 也就是组内的优势函数：

$$A_g = \frac {r_g - \bar r}{{\rm std}\{r_g\}} $$

换句话来说，也就是将 Critic 计算 $V(s_t)$ 的过程，变成采样 $G$ 个答案，然后对于分数取平均，得到相对优势。

DAPO

在 GRPO 的基础上，进行了这样的优化。

1. 提高 $1 + \epsilon$
   这是源于这样一个情况：如果说不小心采样到了一个小概率的答案，但是答案却是非常好的，此时，由重要性采样，其权重就会很低，导致优势变得很小，难以学习到该答案。所以独立设置 $1 - \epsilon_{low}$ 和 $1 + \epsilon_{high}$

2. 动态采样
   模型在前后期的情况下，可能回答全错/全对，导致组内优势全部为 0，从而导致无效训练。
   这里的 trick 就是一直采样直到出现至少一对评分有区别的答案。

3. token 平均
   注意看 GRPO 的优势，是对于每一个回答进行 Token 级别的平均。但是这样导致了长回答的优势被稀疏化。所以这里采用全部采样级别的平均，换句话来说，也就是删除了 $\frac 1 {T_g}$ 这一个平均的系数作为损失。

4. 过长惩罚
   太长的东西也令人痛苦。所以当回答超过一定长度后，对 token 进行惩罚，约长惩罚越高。

GSPO

这一框架的提出动机源于以下事实：在MoE架构训练期间，GRPO 的重要性采样引入了大的方差和不稳定性。GSPO 的核心思想是减少在奖励处理过程中对 token 级优化的依赖，同时更加强调整体序列结果。

• https://hugging-face.cn/blog/NormalUhr/grpo-to-dapo-and-gspo