书接上回。
毛病
做对得 1 分,做错得 0 分,代入上回的公式,推导出来的更新量就是:
r⋅∇θlogπθ(y∣x)也就是说,做错了就把更新量直接乘以 0,相当于不做任何处理。
这就像老师批改你的作业:做对的题夸一句,做错的题完全无视,也不扣分。这种“只奖不惩”的策略在遇到难题时很容易让训练磕磕绊绊——当然,严格来说并不是答错清零本身必然导致“绝对方差极大”(按后面题目(a)算出的公式,当答对概率 p→0 时,绝对方差其实也趋于 0);在难题上真正突出的是相对波动极大:固定采样数 n 时,梯度估计的标准差与期望之比高达 np1−p。模型绝大多数时候都在白跑,偶尔蒙对一次信号又猛地跳一下,非常不稳定。
解决办法:引入基线
为了让模型做错时也受到惩罚,我们从奖励里减去一个基线 b:
(r(y∣x)−b)∇θlogπθ(y∣x)假设设定基线 b=0.5(可以类比为定了一条“及格线”,考不过就会挂科 XD)。这时如果做错了,权重就会变成负数——虽然 ∇θlogπθ(y∣x) 本身并没有变,但乘上负权重之后,这条样本对参数更新的贡献方向就反过来了,直接压低这种错误解法的生成概率。这样就实现了“做对奖励,做错惩罚”。
数学推导:期望不变
高中数学里,给一个变量整体平移一个常数,平均数会跟着变;但在这里,减去基线 b 之后,平均梯度完全不受影响。我们先看核心等式:
Ey∼πθ(⋅∣x)[∇θlogπθ(y∣x)]=0下面我们分四步证明它为什么恒等于 0:
-
把对数求导技巧反向用回去:
y∑πθ(y∣x)⋅∇θlogπθ(y∣x)=y∑∇θπθ(y∣x)
-
调换求导和求和的顺序:
y∑∇θπθ(y∣x)=∇θ(y∑πθ(y∣x))
-
对所有可能的回答 y 求和(这些事件两两互斥,且完整覆盖了整个样本空间),概率之和恒等于 1:
y∑πθ(y∣x)=1
-
常数的导数等于 0:
∇θ(1)=0
既然 E[∇logπ]=0,把括号拆开就能直接得到:
E[(r−b)∇logπ]=E[r∇logπ]−b×0=0b⋅E[∇logπ]=E[r∇logπ]结论:只要基线 b 跟当前具体的回答 y 无关(它可以是个常数,也可以是只跟题目 x 相关的数值),把它减掉就丝毫不改变梯度估计的期望(更新的平均方向完全不变)。
不过要注意,上面的证明只保证了无偏性(期望不变),并不保证随便减个基线就能稳赚“降低方差、加速收敛”的好处——选对基线确实能大幅压低方差,但选得不好反而可能帮倒忙(后面题目(c)就是个现成的反例:当 p>32 时,减去均值基线反而会让方差变大)。
联系 GRPO
还记得 GRPO 的名字叫作“分组相对”策略优化吗?
如果基线 b 设成死板的常数 0.5,虽然在全对或全错的情况下照样能算,但它没法根据题目的难易程度动态调整。原版 GRPO 的做法是:针对同一道题生成一组回答,用组内平均得分当作基线减掉,并且还会再除以组内标准差来做归一化。只要你的答案比组内同伴的平均分高,权重就是正的;比同伴差,就是负的。这样就不需要额外训练复杂的估分网络(Critic)。
顺带提两个细节:
- 如果整组回答全对或者全错(全组同分),中心化后的奖励全为 0,组内标准差也为 0,实际工程里需要单独处理(例如在分母加一个极小常数 ϵ,或者直接过滤掉这组没有区分度的样本)。
- 因为组内均值里包含了当前这条回答自己的得分,它并不是与当前回答 y 独立的,所以不能直接硬套上一节的无偏性证明。
计算策略梯度估计量的方差
设 πθ 是二值动作空间 A={0,1} 上的策略,πθ(A=1)=p=σ(θ),其中 σ(θ)=1+e−θ1 是 sigmoid 函数。二值奖励函数对 A=1 给出奖励 1,否则给出 0,即 r(A)=1{A=1}。
准备工作:题目设定了一个只有两种动作的极简场景,不妨用抛硬币来类比:
- 动作 A 只能取 1(正面)或 0(反面)。
- 出正面的概率是 p=πθ(A=1)=σ(θ)=1+e−θ1,因为是 sigmoid 函数,恒有 0<p<1;出反面的概率就是 1−p。
- 奖励函数 r(A)=1{A=1}:抛硬币出 1 得 1 分,出 0 得 0 分。
算方差之前,先把后面要反复用到的核心零件——对数概率导数 ∇θlogπθ(A) 算出来:
- 先求 p 对 θ 的导数:
dθdp=−(1+e−θ)−2⋅(−e−θ)=1+e−θ1⋅1+e−θe−θ=p(1−p)
- 分情况求 ∇θlogπθ(A):
- 当 A=1 时(概率为 p):
dθdlogp=p1⋅dθdp=p1⋅p(1−p)=1−p
- 当 A=0 时(概率为 1−p):
dθdlog(1−p)=1−p1⋅(−dθdp)=1−p−p(1−p)=−p取到 1 的时候导数是 1−p,取到 0 的时候导数是 −p。零件备齐,接下来就好做了。
题目(a) 给定 n 个样本 Ai∼iidπθ,设策略梯度的估计量为
g^=n1i=1∑nr(Ai)∇θlogπθ(Ai).估计量的方差是多少?用 n 和 p 表示式子,并给出推导。
题目要求的估计量是 n 个独立同分布(iid)样本的平均值:
g^=n1i=1∑nZi,其中 Zi=r(Ai)∇θlogπθ(Ai)独立同分布样本均值的方差等于单个样本方差除以 n:
Var(g^)=n1Var(Z)列出单个样本 Z 的所有可能取值:
- 当 A=1(概率 p):Z=1×(1−p)=1−p
- 当 A=0(概率 1−p):Z=0×(−p)=0
方法一(直接用方差定义 Var(Z)=E[Z2]−(E[Z])2):
- 期望:E[Z]=p⋅(1−p)+(1−p)⋅0=p(1−p)
- 平方的期望:E[Z2]=p⋅(1−p)2+(1−p)⋅02=p(1−p)2
- 单个样本方差:
Var(Z)=p(1−p)2−[p(1−p)]2=p(1−p)2(1−p)=p(1−p)3方法二(两点分布秒杀):
仔细看 Z 的取值,其实刚好就是 Z=(1−p)⋅A。而 A 服从两点分布,方差是 D(A)=p(1−p)。利用公式 D(kA)=k2D(A),一步得出:
Var(Z)=(1−p)2⋅p(1−p)=p(1−p)3因此,答案就是:
Var(g^)=np(1−p)3顺手验证一下开头说的结论:当 p→0 时,这个绝对方差确实趋于 0;但把标准差 Var(g^) 除以期望 p(1−p),就能得到相对波动 np1−p,在 p→0 时会直接冲向无穷大。
题目(b) 给定 n 个样本 Ai∼iidπθ,设减去基线后的策略梯度估计量为
g^b=n1i=1∑n(r(Ai)−b)∇θlogπθ(Ai).估计量的方差是多少?用 n、b 和 p 表示式子,并给出推导和简要讨论。
现在估计量变成了:
g^b=n1i=1∑nZb,i,其中 Zb,i=(r(Ai)−b)∇θlogπθ(Ai)同样列出单个样本 Zb 的分布列:
- 当 A=1(概率 p):Zb=(1−b)(1−p)
- 当 A=0(概率 1−p):Zb=(0−b)(−p)=bp
这里用公式 D(kA+c)=k2D(A) 最省力(因为 A 只能取 0 或 1,任何只取两个值的随机变量都可以写成 v0+(v1−v0)A 的线性形式)。先算两种情况的差值 k=v1−v0:
(1−b)(1−p)−bp=1−p−b+bp−bp=1−p−b注意到这里交叉项 bp 刚好互相抵消了。所以 Zb=bp+(1−p−b)A。常数 bp 不影响方差,直接套公式:
Var(Zb)=(1−p−b)2⋅Var(A)=p(1−p)(1−p−b)2(如果老老实实用 E[Zb2]−(E[Zb])2 展开化简,也会得到一模一样的结果。)
因此,第(b)题的最终答案是:
Var(g^b)=np(1−p)(1−p−b)2把这个方差看成关于 b 的二次函数,开口向上,对称轴在 b∗=1−p。
注意到,当取最优基线 b∗=1−p 时,方差直接变成 0!把 b=1−p 代回去看:无论硬币抛出 1 还是 0,Zb 算出来全都是 p(1−p)(刚好就是精确的真实梯度)。抽一次就精准命中,毫无波动!
不过这是因为题目里的动作空间只有 2 种可能(0 和 1),参数也是一维标量。放到真正的大语言模型里,面对一道题有成千上万种不同的回答 y,每个回答对应的梯度还是高维向量,而我们手里只有 1 个标量基线 b,通常无法让所有回答都产生相同的梯度向量。所以现实中我们只能尽量把方差压小,没法像这道极简题一样直接清零。
题目(c) 换用“总体均值”基线 b=p,此时方差是多少?与未调整的策略梯度估计量相比,它总是更小、总是更大,还是大小取决于 p?
我们把更符合直觉的基线——奖励的平均值 b=E[r(A)]=p 代入(b)的公式:
Var(g^b=p)=np(1−p)(1−p−p)2=np(1−p)(1−2p)2拿它和第(a)题未调整的方差 np(1−p)(1−p)2 作差比大小,只要比较 (1−2p)2 和 (1−p)2 就行:
(1−2p)2−(1−p)2=3p2−2p=p(3p−2)因为 p>0,正负完全由 3p−2 决定:
- 当 0<p<32 时:3p−2<0,使用均值基线 b=p 后方差更小(尤其是在 p=0.5 时刚好撞上最优值 1−p,方差直接降到 0)。
- 当 p=32 时:两者方差相等。
- 当 32<p<1 时:3p−2>0,使用均值基线 b=p 后方差反而变大。
直觉上也很容易理解:假设模型已经很厉害了,答对的概率高达 p=0.9。此时偶尔答错一次(A=0),它的对数概率导数 ∇θlogπθ(0)=−p=−0.9 绝对值非常大。如果不加基线(b=0),答错时奖励 r=0 直接把这个巨大的负值乘成 0 了,整体波动很小;可如果减去了均值 b=0.9,偶尔答错一次就会冒出 (0−0.9)×(−0.9)=+0.81 的巨大尖峰(而平时 90% 的时间数值只有 0.1×0.1=0.01)。这种“平时极小、偶尔暴涨”的极端跳变,反而把方差撑大了。
这也解释了为什么在强化学习里,“减去平均分”虽然在绝大多数时候非常管用,但在数学上并不总是绝对最优的基线。
本文推导了策略梯度基线的期望不变性,衔接GRPO并手算方差,揭示减去均值基线有时反而增大方差。