GRPO(分组相对策略优化)是 DeepSeek 等模型在强化学习训练推理能力时用到的关键思想。
核心目标公式:
Jθ=Ex∼ρEy∼πθ(y∣x)[r(y∣x)]
- E 是期望。
- x∼ρ:从任务分布中随机抽一道题。
- y∼πθ(y∣x):面对题目 x,学生自己动笔写出一份解答 y。
- r(y∣x):打分 / 奖励函数。
- Jθ:总体平均分。
连起来看,就是从题库抽取各种题(外层 Ex∼ρ),让模型去各种作答(内层 Ey∼πθ)算出来的平均得分。所谓的“优化”,就是调整模型参数 θ,让这个平均分 Jθ 越高越好。
与“预训练 / 监督微调 SFT”的区别
SFT 的损失函数长这样:
E(x,y)∼D[−logπθ(y∣x)]
- 以前(SFT):想象老师直接给学生一本《五年高考三年模拟》(标准数据集 D),里面每一题都有标准答案,模型只管去模仿、背诵标准答案里的下一个词(交叉熵损失)。
- 现在(RL):不给现成过程,模型自己去写解题步骤。判卷老师只看对错打分 r,对的给予鼓励(强化),错的给予惩罚。这样模型就会在不断尝试之中,自己琢磨出更稳健的解题逻辑(比如思考链推理 CoT)。
什么是“分组相对”(Group Relative)?
如果每次只做一次题,只得到 0 或者 1 分,模型很难知道自己到底哪一步走得好。
- 分组:同一道题 x,让模型一次性写出好几个不同的解法(比如生成 4 个答案,组成一个 Group)。
- 相对:比较这 4 个答案的优劣。比组内平均水平表现更好的解法,增加其出现的概率;表现差的就降低其出现概率。
这样模型就不需要额外的评分裁判网络(Critic),仅靠组内答案之间的“相对高低”,就能稳定、高效地向正确方向迭代。
概念对齐:把做题映射到强化学习
在传统的强化学习中(比如玩《超级马里奥》),有四个核心概念:
- 状态 st(State):当前的画面(马里奥站在悬崖边,前面有个板栗仔)。
- 动作 at(Action):手柄输入(按“跳跃”)。
- 转移到下一个状态 st+1:跳到了半空中,画面更新。
- 奖励 rt(Reward):踩死怪物加 100 分,掉进悬崖得 0 分。
如果把这套逻辑搬到 LLM 写解答上:
- 当前状态 st ⟷ 目前已经写出的所有 Token 前缀:y<t=(y1,y2,…,yt−1)
- 动作 at ⟷ 接下来要输出的下一个 Token yt
- 游戏结束 ⟷ 输出了句号或结束符号(例如
<|end_of_text|> 或 </answer>)
数学上怎么表示呢?
at∼πθ(⋅∣st),πθ(at∣st)=[softmax(fθ(st))]at拆开来看,其实就是做选择题然后算概率:
- fθ(st):模型的打分器(Logits)。
- softmax(⋅):把打分转化成概率。
- […]at:取出被选中的那个词元 at 对应的概率值。
- at∼πθ(⋅∣st)(按概率转转盘):∼ 还是指“抽样”。既然每个词都有了概率(比如词 A 是 70%,词 B 是 20%,词 C 是 10%),模型就像转转盘一样,按这个概率摇号摇出下一个词 at。
后续做策略梯度优化时,必须算两个东西:
- 采样一个动作 at:让模型按概率实际蹦出一个词。
- 计算对数似然 logπθ(at∣st):算这个词出现的概率,并取个自然对数 ln。
为什么要取 log?
如果一整句话有 100 个词,整句话同时出现的概率是连续乘法:
P(整句话)=P(词1)×P(词2)×⋯×P(词100)很多个零点几连续乘 100 次,数值会变得极小极小(直接导致计算机数值下溢为 0)。如果两边取对数:
logP(整句话)=logP(词1)+logP(词2)+⋯+logP(词100)这样不仅数值安全,而且在求导(梯度更新)时计算会极其简便。
如此,就把“大模型逐字打字”,规范定义成了一个“在状态 st 下按概率挑选动作 at”的强化学习过程。
轨迹、奖励与回报
这里我们要完成两件事:
- 把学生从看到题到写完整张草稿纸的过程,打包定义成一条“轨迹”。
- 把判卷老师打分、计算总体平均分、并以此去提升学生水平的目标,写成标准的数学优化问题。
一、什么是“轨迹” τ?
τ=(s0,a0,s1,a1,…,sT,aT)
- 轨迹(Trajectory / Episode / Rollout):就是模型做完一道题留下的完整草稿记录。
- 用做题的视角看整个时间线:
- s0:开局。草稿纸上只有题目(比如:“求 x2−4=0 的解”)。
- a0:动笔写第一个词(比如写了“解:”)。
- s1:状态更新,现在的草稿纸内容是“题目 + 解:”。
- a1:写第二个词(写了“移项得”)。
- ……
- aT:终点词。写到了最后,打出句号或者结束符
</answer>。
- 整个过程从头到尾的所有草稿记录排成一串,就叫一条轨迹 τ。
二、中间每一步得 0 分
rT=r(sT,aT):={1,0,奖励函数判定轨迹 τ 与参考答案匹配;否则.做数学题,老师只看最终答案对不对:
- 你中间写“解:”、“因为……”、“所以……”,判卷系统不会在你打字的瞬间按字给你加分,中间所有步骤的即时奖励都是 0。
- 只有当你写完最后一笔(时刻 T),系统拿你的最终结果和参考答案比对:算对了给 1 分(rT=1),算错了给 0 分(rT=0)。
- 整个过程获得的总分(回报 R(τ)),其实就等于这最后一刻判定的 rT。
三、优化的终极目标
Jθ=Eτ∼πθ[r(τ)],θ∗=argθmaxJθ
- 期望得分 Jθ:
- τ∼πθ:模型凭借它脑子里的知识(参数 θ),随机生成了一份完整的草稿 τ。
- E[⋅]:把所有可能的题目、所有可能的解题尝试都做一遍,算总平均得分。这就是前面的 Jθ=Ex∼ρEy∼πθ(y∣x)[r(y∣x)] 的另一种写法,用来评估当前模型的平均做题命中率。
- argmax(寻找最优解):
- maxf(x) 是求最大值是多少,而 argmaxxf(x) 是求取到最大值时对应的自变量 x 是什么。
- 这里我们要调整的是模型的“脑回路”(参数 θ)。θ∗ 就是那个能让平均得分 Jθ 达到最高、最聪明的模型参数。
一句话小结:让模型从头到尾写出一整段解答 τ,只在终点看答案对错给 0 或 1 分,目标是寻找最优参数 θ\*,让它的长期平均得分最大化。
REINFORCE 策略梯度(Policy Gradient)推导
这是整个强化学习中最经典、最漂亮的数学推导。
一、目标:梯度上升
θk+1=θk+α∇θJθk
- ∇θ:就是高维空间的导数(梯度)。
- 梯度上升:我们要让平均得分 Jθ 最大化,所以顺着导数的方向走(加号)。
- α 学习率:每次迈步的步长。
要完成这一步,核心问题是:导数 ∇θJθ 怎么算?
二、核心技巧:对数求导
求复合函数 y=lnf(x) 的导数:
(lnf(x))′=f(x)f′(x)⟹f′(x)=f(x)⋅(lnf(x))′把这里的 f(x) 换成模型生成回答的概率 πθ(y∣x),对参数 θ 求导,就得到了:
∇θπθ(y∣x)=πθ(y∣x)⋅∇θlogπθ(y∣x)变出这一步的意义何在?
导数外面多出来一个 πθ(y∣x)(这就是概率本身)。一旦式子里出现了“概率乘以某项”,我们就可以在统计学里把它重新写成期望!
三、推导过程(简单三步)
我们要对平均分求导:∇θE[r]
-
写成求和形式:
离散随机变量的期望公式是 E(X)=∑xipi。这里的平均得分就是把所有可能的回答 y 的“得分 × 概率”加起来:
y∑∇θπθ(y∣x)⋅r(y∣x)(因为只有概率 πθ 里带有模型参数 θ,评分 r 是裁判给的固定值,所以求导符号直接贴到 πθ 头上)。
-
代入对数求导技巧:
把刚才变出来的 ∇π=π⋅∇logπ 代入:
=y∑发生概率πθ(y∣x)⋅这一项的值[∇θlogπθ(y∣x)⋅r(y∣x)]
-
重新打包成期望:
看到“概率 × 某样东西”再求和,马上写成期望:
=Ey∼πθ(y∣x)[r(y∣x)∇θlogπθ(y∣x)]
简单三步,推导完毕。
四、计算机怎么实际操作?
g^←BG1i=1∑Bj=1∑Gr(y(i,j)∣x(i))∇θlogπθ(y(i,j)∣x(i))理论上的“期望”要穷举所有可能的回答,计算机根本做不到。计算机的做法是算术平均(依据大数定律,做足够多次实验取平均来估计期望):
- 抽 B 道题目(Batch size)
- 每道题让模型生成 G 个不同的解答(Group size)
- 一共得到 B×G 个作答样本,把它们算出来的结果加起来除以 BG(求平均)。
五、这个公式在干什么?
看公式里的核心相乘项:
奖励得分r(y∣x)×让这个回答概率增加的推动力∇θlogπθ(y∣x)
- 如果一个回答做对了,得分高(比如 r=1),前面带着正号,模型参数就会往“增加生成这个回答的概率”方向迈一步;
- 如果做错了,得分低(比如 r=0),这一项就变成 0,完全得不到正向强化。
总结起来:做对的解法,大力推高它出现的概率;做错的解法,不给奖励甚至压低它。
(下一篇继续:为什么直接用这个最原始的公式训练会很不稳定,以及 GRPO 是如何给它打补丁的……)