书接上回。

毛病

做对得 1 分,做错得 0 分,代入上回的公式,推导出来的更新量就是:

r⋅∇θlog⁡πθ(y∣x)r \cdot \nabla_\theta \log \pi_\theta(y \mid x)

也就是说,做错了就把更新量直接乘以 0,相当于不做任何处理。

这就像老师批改你的作业:做对的题夸一句,做错的题完全无视,也不扣分。这种“只奖不惩”的策略在遇到难题时很容易让训练磕磕绊绊——当然,严格来说并不是答错清零本身必然导致“绝对方差极大”(按后面题目(a)算出的公式,当答对概率 p→0p \to 0 时,绝对方差其实也趋于 0);在难题上真正突出的是相对波动极大:固定采样数 nn 时,梯度估计的标准差与期望之比高达 1−pnp\sqrt{\frac{1-p}{np}}。模型绝大多数时候都在白跑,偶尔蒙对一次信号又猛地跳一下,非常不稳定。

解决办法:引入基线

为了让模型做错时也受到惩罚,我们从奖励里减去一个基线 bb:

(r(y∣x)−b)∇θlog⁡πθ(y∣x)\big( r(y \mid x) - b \big) \nabla_\theta \log \pi_\theta(y \mid x)

假设设定基线 b=0.5b = 0.5(可以类比为定了一条“及格线”,考不过就会挂科 XD)。这时如果做错了,权重就会变成负数——虽然 ∇θlog⁡πθ(y∣x)\nabla_\theta \log \pi_\theta(y \mid x) 本身并没有变,但乘上负权重之后,这条样本对参数更新的贡献方向就反过来了,直接压低这种错误解法的生成概率。这样就实现了“做对奖励,做错惩罚”。

数学推导:期望不变

高中数学里,给一个变量整体平移一个常数,平均数会跟着变;但在这里,减去基线 bb 之后,平均梯度完全不受影响。我们先看核心等式:

Ey∼πθ(⋅∣x)[∇θlog⁡πθ(y∣x)]=0\mathbb{E}_{y \sim \pi_\theta(\cdot \mid x)} \big[ \nabla_\theta \log \pi_\theta(y \mid x) \big] = 0

下面我们分四步证明它为什么恒等于 0:

  1. 把对数求导技巧反向用回去:

    ∑yπθ(y∣x)⋅∇θlog⁡πθ(y∣x)=∑y∇θπθ(y∣x)\sum_y \pi_\theta(y \mid x) \cdot \nabla_\theta \log \pi_\theta(y \mid x) = \sum_y \nabla_\theta \pi_\theta(y \mid x)
  2. 调换求导和求和的顺序:

    ∑y∇θπθ(y∣x)=∇θ(∑yπθ(y∣x))\sum_y \nabla_\theta \pi_\theta(y \mid x) = \nabla_\theta \left( \sum_y \pi_\theta(y \mid x) \right)
  3. 对所有可能的回答 yy 求和(这些事件两两互斥,且完整覆盖了整个样本空间),概率之和恒等于 1:

    ∑yπθ(y∣x)=1\sum_y \pi_\theta(y \mid x) = 1
  4. 常数的导数等于 0:

    ∇θ(1)=0\nabla_\theta(1) = 0

既然 E[∇log⁡π]=0\mathbb{E}[\nabla \log \pi] = 0,把括号拆开就能直接得到:

E[(r−b)∇log⁡π]=E[r∇log⁡π]−b⋅E[∇log⁡π]⏟b×0=0=E[r∇log⁡π]\mathbb{E}[(r - b)\nabla \log \pi] = \mathbb{E}[r \nabla \log \pi] - \underbrace{b \cdot \mathbb{E}[\nabla \log \pi]}_{b \times 0 = 0} = \mathbb{E}[r \nabla \log \pi]

结论:只要基线 bb 跟当前具体的回答 yy 无关(它可以是个常数,也可以是只跟题目 xx 相关的数值),把它减掉就丝毫不改变梯度估计的期望(更新的平均方向完全不变)。

不过要注意,上面的证明只保证了无偏性(期望不变),并不保证随便减个基线就能稳赚“降低方差、加速收敛”的好处——选对基线确实能大幅压低方差,但选得不好反而可能帮倒忙(后面题目(c)就是个现成的反例:当 p>23p > \frac{2}{3} 时,减去均值基线反而会让方差变大)。

联系 GRPO

还记得 GRPO 的名字叫作“分组相对”策略优化吗?

如果基线 bb 设成死板的常数 0.50.5,虽然在全对或全错的情况下照样能算,但它没法根据题目的难易程度动态调整。原版 GRPO 的做法是:针对同一道题生成一组回答,用组内平均得分当作基线减掉,并且还会再除以组内标准差来做归一化。只要你的答案比组内同伴的平均分高,权重就是正的;比同伴差,就是负的。这样就不需要额外训练复杂的估分网络(Critic)。

顺带提两个细节:

  • 如果整组回答全对或者全错(全组同分),中心化后的奖励全为 0,组内标准差也为 0,实际工程里需要单独处理(例如在分母加一个极小常数 ϵ\epsilon,或者直接过滤掉这组没有区分度的样本)。
  • 因为组内均值里包含了当前这条回答自己的得分,它并不是与当前回答 yy 独立的,所以不能直接硬套上一节的无偏性证明。

计算策略梯度估计量的方差

设 πθ\pi_\theta 是二值动作空间 A={0,1}\mathcal{A} = \{0, 1\} 上的策略,πθ(A=1)=p=σ(θ)\pi_\theta(A = 1) = p = \sigma(\theta),其中 σ(θ)=11+e−θ\sigma(\theta) = \frac{1}{1 + e^{-\theta}} 是 sigmoid 函数。二值奖励函数对 A=1A = 1 给出奖励 1,否则给出 0,即 r(A)=1{A=1}r(A) = \mathbf{1}\{A = 1\}。

准备工作:题目设定了一个只有两种动作的极简场景,不妨用抛硬币来类比:

  • 动作 AA 只能取 1(正面)或 0(反面)。
  • 出正面的概率是 p=πθ(A=1)=σ(θ)=11+e−θp = \pi_\theta(A = 1) = \sigma(\theta) = \frac{1}{1 + e^{-\theta}},因为是 sigmoid 函数,恒有 0<p<10 < p < 1;出反面的概率就是 1−p1 - p。
  • 奖励函数 r(A)=1{A=1}r(A) = \mathbf{1}\{A = 1\}:抛硬币出 1 得 1 分,出 0 得 0 分。

算方差之前,先把后面要反复用到的核心零件——对数概率导数 ∇θlog⁡πθ(A)\nabla_\theta \log \pi_\theta(A) 算出来:

  1. 先求 pp 对 θ\theta 的导数:
dpdθ=−(1+e−θ)−2⋅(−e−θ)=11+e−θ⋅e−θ1+e−θ=p(1−p)\frac{dp}{d\theta} = -(1 + e^{-\theta})^{-2} \cdot (-e^{-\theta}) = \frac{1}{1 + e^{-\theta}} \cdot \frac{e^{-\theta}}{1 + e^{-\theta}} = p(1 - p)
  1. 分情况求 ∇θlog⁡πθ(A)\nabla_\theta \log \pi_\theta(A):
  • 当 A=1A = 1 时(概率为 pp):
ddθlog⁡p=1p⋅dpdθ=1p⋅p(1−p)=1−p\frac{d}{d\theta} \log p = \frac{1}{p} \cdot \frac{dp}{d\theta} = \frac{1}{p} \cdot p(1 - p) = 1 - p
  • 当 A=0A = 0 时(概率为 1−p1 - p):
ddθlog⁡(1−p)=11−p⋅(−dpdθ)=−p(1−p)1−p=−p\frac{d}{d\theta} \log (1 - p) = \frac{1}{1 - p} \cdot \left(-\frac{dp}{d\theta}\right) = \frac{-p(1 - p)}{1 - p} = -p

取到 1 的时候导数是 1−p1 - p,取到 0 的时候导数是 −p-p。零件备齐,接下来就好做了。

题目(a) 给定 nn 个样本 Ai∼iidπθA_i \stackrel{\text{iid}}{\sim} \pi_\theta,设策略梯度的估计量为

g^=1n∑i=1nr(Ai)∇θlog⁡πθ(Ai).\hat{g} = \frac{1}{n} \sum_{i=1}^{n} r(A_i) \nabla_\theta \log \pi_\theta(A_i).

估计量的方差是多少?用 nn 和 pp 表示式子,并给出推导。

题目要求的估计量是 nn 个独立同分布(iid\text{iid})样本的平均值:

g^=1n∑i=1nZi,其中 Zi=r(Ai)∇θlog⁡πθ(Ai)\hat{g} = \frac{1}{n} \sum_{i=1}^n Z_i, \quad \text{其中 } Z_i = r(A_i)\nabla_\theta \log \pi_\theta(A_i)

独立同分布样本均值的方差等于单个样本方差除以 nn:

Var(g^)=1nVar(Z)\text{Var}(\hat{g}) = \frac{1}{n} \text{Var}(Z)

列出单个样本 ZZ 的所有可能取值:

  • 当 A=1A = 1(概率 pp):Z=1×(1−p)=1−pZ = 1 \times (1 - p) = 1 - p
  • 当 A=0A = 0(概率 1−p1 - p):Z=0×(−p)=0Z = 0 \times (-p) = 0

方法一(直接用方差定义 Var(Z)=E[Z2]−(E[Z])2\text{Var}(Z) = \mathbb{E}[Z^2] - (\mathbb{E}[Z])^2):

  • 期望:E[Z]=p⋅(1−p)+(1−p)⋅0=p(1−p)\mathbb{E}[Z] = p \cdot (1 - p) + (1 - p) \cdot 0 = p(1 - p)
  • 平方的期望:E[Z2]=p⋅(1−p)2+(1−p)⋅02=p(1−p)2\mathbb{E}[Z^2] = p \cdot (1 - p)^2 + (1 - p) \cdot 0^2 = p(1 - p)^2
  • 单个样本方差:
Var(Z)=p(1−p)2−[p(1−p)]2=p(1−p)2(1−p)=p(1−p)3\text{Var}(Z) = p(1 - p)^2 - \big[p(1 - p)\big]^2 = p(1 - p)^2 (1 - p) = p(1 - p)^3

方法二(两点分布秒杀):

仔细看 ZZ 的取值,其实刚好就是 Z=(1−p)⋅AZ = (1 - p) \cdot A。而 AA 服从两点分布,方差是 D(A)=p(1−p)D(A) = p(1 - p)。利用公式 D(kA)=k2D(A)D(kA) = k^2 D(A),一步得出:

Var(Z)=(1−p)2⋅p(1−p)=p(1−p)3\text{Var}(Z) = (1 - p)^2 \cdot p(1 - p) = p(1 - p)^3

因此,答案就是:

Var(g^)=p(1−p)3n\text{Var}(\hat{g}) = \frac{p(1 - p)^3}{n}

顺手验证一下开头说的结论:当 p→0p \to 0 时,这个绝对方差确实趋于 0;但把标准差 Var(g^)\sqrt{\text{Var}(\hat{g})} 除以期望 p(1−p)p(1 - p),就能得到相对波动 1−pnp\sqrt{\frac{1 - p}{np}},在 p→0p \to 0 时会直接冲向无穷大。

题目(b) 给定 nn 个样本 Ai∼iidπθA_i \stackrel{\text{iid}}{\sim} \pi_\theta,设减去基线后的策略梯度估计量为

g^b=1n∑i=1n(r(Ai)−b)∇θlog⁡πθ(Ai).\hat{g}_b = \frac{1}{n} \sum_{i=1}^{n} (r(A_i) - b) \nabla_\theta \log \pi_\theta(A_i).

估计量的方差是多少?用 nn、bb 和 pp 表示式子,并给出推导和简要讨论。

现在估计量变成了:

g^b=1n∑i=1nZb,i,其中 Zb,i=(r(Ai)−b)∇θlog⁡πθ(Ai)\hat{g}_b = \frac{1}{n} \sum_{i=1}^n Z_{b,i}, \quad \text{其中 } Z_{b,i} = (r(A_i) - b)\nabla_\theta \log \pi_\theta(A_i)

同样列出单个样本 ZbZ_b 的分布列:

  • 当 A=1A = 1(概率 pp):Zb=(1−b)(1−p)Z_b = (1 - b)(1 - p)
  • 当 A=0A = 0(概率 1−p1 - p):Zb=(0−b)(−p)=bpZ_b = (0 - b)(-p) = bp

这里用公式 D(kA+c)=k2D(A)D(kA + c) = k^2 D(A) 最省力(因为 AA 只能取 0 或 1,任何只取两个值的随机变量都可以写成 v0+(v1−v0)Av_0 + (v_1 - v_0)A 的线性形式)。先算两种情况的差值 k=v1−v0k = v_1 - v_0:

(1−b)(1−p)−bp=1−p−b+bp−bp=1−p−b(1 - b)(1 - p) - bp = 1 - p - b + bp - bp = 1 - p - b

注意到这里交叉项 bpbp 刚好互相抵消了。所以 Zb=bp+(1−p−b)AZ_b = bp + (1 - p - b)A。常数 bpbp 不影响方差,直接套公式:

Var(Zb)=(1−p−b)2⋅Var(A)=p(1−p)(1−p−b)2\text{Var}(Z_b) = (1 - p - b)^2 \cdot \text{Var}(A) = p(1 - p)(1 - p - b)^2

(如果老老实实用 E[Zb2]−(E[Zb])2\mathbb{E}[Z_b^2] - (\mathbb{E}[Z_b])^2 展开化简,也会得到一模一样的结果。)

因此,第(b)题的最终答案是:

Var(g^b)=p(1−p)(1−p−b)2n\text{Var}(\hat{g}_b) = \frac{p(1 - p)(1 - p - b)^2}{n}

把这个方差看成关于 bb 的二次函数,开口向上,对称轴在 b∗=1−pb^* = 1 - p。

注意到,当取最优基线 b∗=1−pb^* = 1 - p 时,方差直接变成 0!把 b=1−pb = 1 - p 代回去看:无论硬币抛出 1 还是 0,ZbZ_b 算出来全都是 p(1−p)p(1 - p)(刚好就是精确的真实梯度)。抽一次就精准命中,毫无波动!

不过这是因为题目里的动作空间只有 2 种可能(0 和 1),参数也是一维标量。放到真正的大语言模型里,面对一道题有成千上万种不同的回答 yy,每个回答对应的梯度还是高维向量,而我们手里只有 1 个标量基线 bb,通常无法让所有回答都产生相同的梯度向量。所以现实中我们只能尽量把方差压小,没法像这道极简题一样直接清零。

题目(c) 换用“总体均值”基线 b=pb = p,此时方差是多少?与未调整的策略梯度估计量相比,它总是更小、总是更大,还是大小取决于 pp?

我们把更符合直觉的基线——奖励的平均值 b=E[r(A)]=pb = \mathbb{E}[r(A)] = p 代入(b)的公式:

Var(g^b=p)=p(1−p)(1−p−p)2n=p(1−p)(1−2p)2n\text{Var}(\hat{g}_{b=p}) = \frac{p(1 - p)(1 - p - p)^2}{n} = \frac{p(1 - p)(1 - 2p)^2}{n}

拿它和第(a)题未调整的方差 p(1−p)(1−p)2n\frac{p(1 - p)(1 - p)^2}{n} 作差比大小,只要比较 (1−2p)2(1 - 2p)^2 和 (1−p)2(1 - p)^2 就行:

(1−2p)2−(1−p)2=3p2−2p=p(3p−2)(1 - 2p)^2 - (1 - p)^2 = 3p^2 - 2p = p(3p - 2)

因为 p>0p > 0,正负完全由 3p−23p - 2 决定:

  • 当 0<p<230 < p < \frac{2}{3} 时:3p−2<03p - 2 < 0,使用均值基线 b=pb = p 后方差更小(尤其是在 p=0.5p = 0.5 时刚好撞上最优值 1−p1 - p,方差直接降到 0)。
  • 当 p=23p = \frac{2}{3} 时:两者方差相等。
  • 当 23<p<1\frac{2}{3} < p < 1 时:3p−2>03p - 2 > 0,使用均值基线 b=pb = p 后方差反而变大。

直觉上也很容易理解:假设模型已经很厉害了,答对的概率高达 p=0.9p = 0.9。此时偶尔答错一次(A=0A = 0),它的对数概率导数 ∇θlog⁡πθ(0)=−p=−0.9\nabla_\theta \log \pi_\theta(0) = -p = -0.9 绝对值非常大。如果不加基线(b=0b = 0),答错时奖励 r=0r = 0 直接把这个巨大的负值乘成 0 了,整体波动很小;可如果减去了均值 b=0.9b = 0.9,偶尔答错一次就会冒出 (0−0.9)×(−0.9)=+0.81(0 - 0.9) \times (-0.9) = +0.81 的巨大尖峰(而平时 90% 的时间数值只有 0.1×0.1=0.010.1 \times 0.1 = 0.01)。这种“平时极小、偶尔暴涨”的极端跳变,反而把方差撑大了。

这也解释了为什么在强化学习里,“减去平均分”虽然在绝大多数时候非常管用,但在数学上并不总是绝对最优的基线。

本文推导了策略梯度基线的期望不变性,衔接GRPO并手算方差,揭示减去均值基线有时反而增大方差。