GRPO(分组相对策略优化)是 DeepSeek 等模型在强化学习训练推理能力时用到的关键思想。

核心目标公式:

Jθ=Ex∼ρ Ey∼πθ(y∣x)[r(y∣x)]J_\theta = \mathbb{E}_{x \sim \rho} \, \mathbb{E}_{y \sim \pi_\theta(y \mid x)} \big[ r(y \mid x) \big]
  • E\mathbb{E} 是期望。
  • x∼ρx \sim \rho:从任务分布中随机抽一道题。
  • y∼πθ(y∣x)y \sim \pi_\theta(y \mid x):面对题目 xx,学生自己动笔写出一份解答 yy。
  • r(y∣x)r(y \mid x):打分 / 奖励函数。
  • JθJ_\theta:总体平均分。

连起来看,就是从题库抽取各种题(外层 Ex∼ρ\mathbb{E}_{x \sim \rho}),让模型去各种作答(内层 Ey∼πθ\mathbb{E}_{y \sim \pi_\theta})算出来的平均得分。所谓的“优化”,就是调整模型参数 θ\theta,让这个平均分 JθJ_\theta 越高越好。

与“预训练 / 监督微调 SFT”的区别

SFT 的损失函数长这样:

E(x,y)∼D[−log⁡πθ(y∣x)]\mathbb{E}_{(x, y) \sim \mathcal{D}} [-\log \pi_\theta(y \mid x)]
  • 以前(SFT):想象老师直接给学生一本《五年高考三年模拟》(标准数据集 D\mathcal{D}),里面每一题都有标准答案,模型只管去模仿、背诵标准答案里的下一个词(交叉熵损失)。
  • 现在(RL):不给现成过程,模型自己去写解题步骤。判卷老师只看对错打分 rr,对的给予鼓励(强化),错的给予惩罚。这样模型就会在不断尝试之中,自己琢磨出更稳健的解题逻辑(比如思考链推理 CoT)。

什么是“分组相对”(Group Relative)?

如果每次只做一次题,只得到 0 或者 1 分,模型很难知道自己到底哪一步走得好。

  • 分组:同一道题 xx,让模型一次性写出好几个不同的解法(比如生成 4 个答案,组成一个 Group)。
  • 相对:比较这 4 个答案的优劣。比组内平均水平表现更好的解法,增加其出现的概率;表现差的就降低其出现概率。

这样模型就不需要额外的评分裁判网络(Critic),仅靠组内答案之间的“相对高低”,就能稳定、高效地向正确方向迭代。

概念对齐:把做题映射到强化学习

在传统的强化学习中(比如玩《超级马里奥》),有四个核心概念:

  • 状态 sts_t(State):当前的画面(马里奥站在悬崖边,前面有个板栗仔)。
  • 动作 ata_t(Action):手柄输入(按“跳跃”)。
  • 转移到下一个状态 st+1s_{t+1}:跳到了半空中,画面更新。
  • 奖励 rtr_t(Reward):踩死怪物加 100 分,掉进悬崖得 0 分。

如果把这套逻辑搬到 LLM 写解答上:

  • 当前状态 sts_t ⟷\longleftrightarrow 目前已经写出的所有 Token 前缀:y<t=(y1,y2,…,yt−1)y_{<t} = (y_1, y_2, \dots, y_{t-1})
  • 动作 ata_t ⟷\longleftrightarrow 接下来要输出的下一个 Token yty_t
  • 游戏结束 ⟷\longleftrightarrow 输出了句号或结束符号(例如 <|end_of_text|> 或 </answer>)

数学上怎么表示呢?

at∼πθ(⋅∣st),πθ(at∣st)=[softmax(fθ(st))]ata_t \sim \pi_\theta(\cdot \mid s_t), \quad \pi_\theta(a_t \mid s_t) = \big[\text{softmax}(f_\theta(s_t))\big]_{a_t}

拆开来看,其实就是做选择题然后算概率:

  • fθ(st)f_\theta(s_t):模型的打分器(Logits)。
  • softmax(⋅)\text{softmax}(\cdot):把打分转化成概率。
  • [… ]at[\dots]_{a_t}:取出被选中的那个词元 ata_t 对应的概率值。
  • at∼πθ(⋅∣st)a_t \sim \pi_\theta(\cdot \mid s_t)(按概率转转盘):∼\sim 还是指“抽样”。既然每个词都有了概率(比如词 A 是 70%,词 B 是 20%,词 C 是 10%),模型就像转转盘一样,按这个概率摇号摇出下一个词 ata_t。

后续做策略梯度优化时,必须算两个东西:

  1. 采样一个动作 ata_t:让模型按概率实际蹦出一个词。
  2. 计算对数似然 log⁡πθ(at∣st)\log \pi_\theta(a_t \mid s_t):算这个词出现的概率,并取个自然对数 ln⁡\ln。

为什么要取 log?

如果一整句话有 100 个词,整句话同时出现的概率是连续乘法:

P(整句话)=P(词1)×P(词2)×⋯×P(词100)P(\text{整句话}) = P(\text{词}_1) \times P(\text{词}_2) \times \dots \times P(\text{词}_{100})

很多个零点几连续乘 100 次,数值会变得极小极小(直接导致计算机数值下溢为 0)。如果两边取对数:

log⁡P(整句话)=log⁡P(词1)+log⁡P(词2)+⋯+log⁡P(词100)\log P(\text{整句话}) = \log P(\text{词}_1) + \log P(\text{词}_2) + \dots + \log P(\text{词}_{100})

这样不仅数值安全,而且在求导(梯度更新)时计算会极其简便。

如此,就把“大模型逐字打字”,规范定义成了一个“在状态 sts_t 下按概率挑选动作 ata_t”的强化学习过程。

轨迹、奖励与回报

这里我们要完成两件事:

  1. 把学生从看到题到写完整张草稿纸的过程,打包定义成一条“轨迹”。
  2. 把判卷老师打分、计算总体平均分、并以此去提升学生水平的目标,写成标准的数学优化问题。

一、什么是“轨迹” τ\tau?

τ=(s0,a0,s1,a1,…,sT,aT)\tau = (s_0, a_0, s_1, a_1, \dots, s_T, a_T)
  • 轨迹(Trajectory / Episode / Rollout):就是模型做完一道题留下的完整草稿记录。
  • 用做题的视角看整个时间线:
    • s0s_0:开局。草稿纸上只有题目(比如:“求 x2−4=0x^2 - 4 = 0 的解”)。
    • a0a_0:动笔写第一个词(比如写了“解:”)。
    • s1s_1:状态更新,现在的草稿纸内容是“题目 + 解:”。
    • a1a_1:写第二个词(写了“移项得”)。
    • ……
    • aTa_T:终点词。写到了最后,打出句号或者结束符 </answer>。
  • 整个过程从头到尾的所有草稿记录排成一串,就叫一条轨迹 τ\tau。

二、中间每一步得 0 分

rT=r(sT,aT):={1,奖励函数判定轨迹 τ 与参考答案匹配;0,否则.r_T = r(s_T, a_T) := \begin{cases} 1, & \text{奖励函数判定轨迹 } \tau \text{ 与参考答案匹配}; \\ 0, & \text{否则}. \end{cases}

做数学题,老师只看最终答案对不对:

  • 你中间写“解:”、“因为……”、“所以……”,判卷系统不会在你打字的瞬间按字给你加分,中间所有步骤的即时奖励都是 0。
  • 只有当你写完最后一笔(时刻 TT),系统拿你的最终结果和参考答案比对:算对了给 1 分(rT=1r_T = 1),算错了给 0 分(rT=0r_T = 0)。
  • 整个过程获得的总分(回报 R(τ)R(\tau)),其实就等于这最后一刻判定的 rTr_T。

三、优化的终极目标

Jθ=Eτ∼πθ[r(τ)],θ∗=arg⁡max⁡θJθJ_\theta = \mathbb{E}_{\tau \sim \pi_\theta} [r(\tau)], \quad \theta^* = \arg\max_\theta J_\theta
  1. 期望得分 JθJ_\theta:
    • τ∼πθ\tau \sim \pi_\theta:模型凭借它脑子里的知识(参数 θ\theta),随机生成了一份完整的草稿 τ\tau。
    • E[⋅]\mathbb{E}[\cdot]:把所有可能的题目、所有可能的解题尝试都做一遍,算总平均得分。这就是前面的 Jθ=Ex∼ρEy∼πθ(y∣x)[r(y∣x)]J_\theta = \mathbb{E}_{x \sim \rho} \mathbb{E}_{y \sim \pi_\theta(y \mid x)} [r(y \mid x)] 的另一种写法,用来评估当前模型的平均做题命中率。
  2. arg⁡max⁡\arg\max(寻找最优解):
    • max⁡f(x)\max f(x) 是求最大值是多少,而 arg⁡max⁡xf(x)\arg\max_x f(x) 是求取到最大值时对应的自变量 xx 是什么。
    • 这里我们要调整的是模型的“脑回路”(参数 θ\theta)。θ∗\theta^* 就是那个能让平均得分 JθJ_\theta 达到最高、最聪明的模型参数。

一句话小结:让模型从头到尾写出一整段解答 τ\tau,只在终点看答案对错给 0 或 1 分,目标是寻找最优参数 θ\*\theta^\*,让它的长期平均得分最大化。

REINFORCE 策略梯度(Policy Gradient)推导

这是整个强化学习中最经典、最漂亮的数学推导。

一、目标:梯度上升

θk+1=θk+α∇θJθk\theta_{k+1} = \theta_k + \alpha \nabla_\theta J_{\theta_k}
  • ∇θ\nabla_\theta:就是高维空间的导数(梯度)。
  • 梯度上升:我们要让平均得分 JθJ_\theta 最大化,所以顺着导数的方向走(加号)。
  • α\alpha 学习率:每次迈步的步长。

要完成这一步,核心问题是:导数 ∇θJθ\nabla_\theta J_\theta 怎么算?

二、核心技巧:对数求导

求复合函数 y=ln⁡f(x)y = \ln f(x) 的导数:

(ln⁡f(x))′=f′(x)f(x)  ⟹  f′(x)=f(x)⋅(ln⁡f(x))′(\ln f(x))' = \frac{f'(x)}{f(x)} \implies f'(x) = f(x) \cdot (\ln f(x))'

把这里的 f(x)f(x) 换成模型生成回答的概率 πθ(y∣x)\pi_\theta(y \mid x),对参数 θ\theta 求导,就得到了:

∇θπθ(y∣x)=πθ(y∣x)⋅∇θlog⁡πθ(y∣x)\nabla_\theta \pi_\theta(y \mid x) = \pi_\theta(y \mid x) \cdot \nabla_\theta \log \pi_\theta(y \mid x)

变出这一步的意义何在?

导数外面多出来一个 πθ(y∣x)\pi_\theta(y \mid x)(这就是概率本身)。一旦式子里出现了“概率乘以某项”,我们就可以在统计学里把它重新写成期望!

三、推导过程(简单三步)

我们要对平均分求导:∇θE[r]\nabla_\theta \mathbb{E}[r]

  1. 写成求和形式:

    离散随机变量的期望公式是 E(X)=∑xipiE(X) = \sum x_i p_i。这里的平均得分就是把所有可能的回答 yy 的“得分 ×\times 概率”加起来:

    ∑y∇θπθ(y∣x)⋅r(y∣x)\sum_y \nabla_\theta \pi_\theta(y \mid x) \cdot r(y \mid x)

    (因为只有概率 πθ\pi_\theta 里带有模型参数 θ\theta,评分 rr 是裁判给的固定值,所以求导符号直接贴到 πθ\pi_\theta 头上)。

  2. 代入对数求导技巧:

    把刚才变出来的 ∇π=π⋅∇log⁡π\nabla \pi = \pi \cdot \nabla \log \pi 代入:

    =∑yπθ(y∣x)⏟发生概率⋅[∇θlog⁡πθ(y∣x)⋅r(y∣x)]⏟这一项的值= \sum_y \underbrace{\pi_\theta(y \mid x)}_{\text{发生概率}} \cdot \underbrace{\big[ \nabla_\theta \log \pi_\theta(y \mid x) \cdot r(y \mid x) \big]}_{\text{这一项的值}}
  3. 重新打包成期望:

    看到“概率 ×\times 某样东西”再求和,马上写成期望:

    =Ey∼πθ(y∣x)[r(y∣x)∇θlog⁡πθ(y∣x)]= \mathbb{E}_{y \sim \pi_\theta(y \mid x)} \big[ r(y \mid x) \nabla_\theta \log \pi_\theta(y \mid x) \big]

简单三步,推导完毕。

四、计算机怎么实际操作?

g^←1BG∑i=1B∑j=1Gr(y(i,j)∣x(i))∇θlog⁡πθ(y(i,j)∣x(i))\hat{g} \leftarrow \frac{1}{BG} \sum_{i=1}^B \sum_{j=1}^G r(y^{(i,j)} \mid x^{(i)}) \nabla_\theta \log \pi_\theta(y^{(i,j)} \mid x^{(i)})

理论上的“期望”要穷举所有可能的回答,计算机根本做不到。计算机的做法是算术平均(依据大数定律,做足够多次实验取平均来估计期望):

  • 抽 BB 道题目(Batch size)
  • 每道题让模型生成 GG 个不同的解答(Group size)
  • 一共得到 B×GB \times G 个作答样本,把它们算出来的结果加起来除以 BGBG(求平均)。

五、这个公式在干什么?

看公式里的核心相乘项:

r(y∣x)⏟奖励得分×∇θlog⁡πθ(y∣x)⏟让这个回答概率增加的推动力\underbrace{r(y \mid x)}_{\text{奖励得分}} \times \underbrace{\nabla_\theta \log \pi_\theta(y \mid x)}_{\text{让这个回答概率增加的推动力}}
  • 如果一个回答做对了,得分高(比如 r=1r = 1),前面带着正号,模型参数就会往“增加生成这个回答的概率”方向迈一步;
  • 如果做错了,得分低(比如 r=0r = 0),这一项就变成 0,完全得不到正向强化。

总结起来:做对的解法,大力推高它出现的概率;做错的解法,不给奖励甚至压低它。

(下一篇继续:为什么直接用这个最原始的公式训练会很不稳定,以及 GRPO 是如何给它打补丁的……)