从 0 开始的强化学习生活(2)基线、GRPO,和一个反直觉的方差结论
做对得 1 分,做错得 0 分,代入上回的公式,推导出来的更新量就是:
也就是说,做错了就把更新量直接乘以 0,相当于不做任何处理。
这就像老师批改你的作业:做对的题夸一句,做错的题完全无视,也不扣分。这种“只奖不惩”的策略在遇到难题时很容易让训练磕磕绊绊——当然,严格来说并不是答错清零本身必然导致“绝对方差极大”(按后面题目(a)算出的公式,当答对概率 时,绝对方差其实也趋于 0);在难题上真正突出的是相对波动极大:固定采样数 时,梯度估计的标准差与期望之比高达 。模型绝大多数时候都在白跑,偶尔蒙对一次信号又猛地跳一下,非常不稳定。