基线

策略梯度定理给出:

$${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })={\mathbb{E}}_S\left[{\mathbb{E}}_{A\sim {\pi }_{\mathbf{\theta }}(\cdot |S;\mathbf{\theta })}\left[Q_{{\pi }_{\mathbf{\theta }}}(S,A)\cdot {\nabla }_{\mathbf{\theta }}\ln {\pi }_{\mathbf{\theta }}(A|S;\mathbf{\theta })\right]\right]$$

基于策略梯度的 REINFORCE 和 actor-critic 算法在实践中往往效果不佳，但是只需把上面式子中的 $Q_{{\pi }_{\mathbf{\theta }}}(S,A)$ 替换成 $Q_{{\pi }_{\mathbf{\theta }}}(S,A)-b$，就可以得到更好的性能。其中 $b$ 是任意不依赖于 $A$ 的函数，通常使用状态价值函数 $V_{{\pi }_{\mathbf{\theta }}}(S)$，此时 $Q_{{\pi }_{\mathbf{\theta }}}(S,A)-V_{{\pi }_{\mathbf{\theta }}}(S)$ 其实就是 $S,A$ 下的优势函数。

$b=0$ 或 $b=V_{{\pi }_{\mathbf{\theta }}}(S)$ 时，${\mathbb{E}}_S\left[{\mathbb{E}}_{A\sim {\pi }_{\mathbf{\theta }}(\cdot |S;\mathbf{\theta })}\left[b\cdot {\nabla }_{\mathbf{\theta }}\ln {\pi }_{\mathbf{\theta }}(A|S;\mathbf{\theta })\right]\right]=0$。对于其他不依赖于 $A$ 的函数 $b$，则可以证明带基线的策略梯度定理。

尽管 $b$ 不影响 ${\mathbb{E}}_{S,A}[\mathbf{g}(S,A;\mathbf{\theta })]$，但是会影响方差

$$\text{Var}[\mathbf{g}(S,A;\mathbf{\theta })]={\mathbb{E}}_{S,A}\left[||\mathbf{g}(S,A;\mathbf{\theta })-{\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })|{|}^2\right]$$

因此，适当的 $b$ 可以减小随机梯度的方差。