Advantage Actor-Critic (A2C)

Advantage Actor-Critic (A2C) 是 actor-critic 算法的带基线的版本。它包括一个 actor $\pi (a|s;\mathbf{\theta })$ 和一个 critic $v(s;\mathbf{w})$，其中 $\mathbf{\theta }$ 和 $\mathbf{w}$ 分别是 actor 和 critic 的参数。它基于随机策略梯度 $\hat{\mathbf{g}}(s,a;\mathbf{\theta })=[Q_{\pi }(s,a)-V_{\pi }(s)]\cdot {\nabla }_{\mathbf{\theta }}\ln \pi (a|s;\mathbf{\theta })$ 进行训练。

它的训练流程为：

1. 基于当前状态 $s_t$，actor 选择动作 $a_t\sim \pi (\cdot |s_t;{\mathbf{\theta }}_{\text{now}})$ 并执行
2. 观察奖励 $r_t$ 和下一个状态 $s_{t+1}$
3. 使用 critic 估计 ${\hat{v}}_t=v(s_t;{\mathbf{w}}_{\text{now}})$ 和 ${\hat{v}}_{t+1}=v(s_{t+1};{\mathbf{w}}_{\text{now}})$
4. 计算 TD 误差 ${\delta }_t={\hat{v}}_t-r_t-\gamma {\hat{v}}_{t+1}$
5. 更新 critic: ${\mathbf{w}}_{\text{new}}\leftarrow {\mathbf{w}}_{\text{now}}-\alpha {\delta }_t{\nabla }_{\mathbf{w}}v(s_t;{\mathbf{w}}_{\text{now}})$
6. 更新 actor: ${\mathbf{\theta }}_{\text{new}}\leftarrow {\mathbf{\theta }}_{\text{now}}-\beta {\delta }_t{\nabla }_{\mathbf{\theta }}\ln \pi (a_t|s_t;{\mathbf{\theta }}_{\text{now}})$

因为 $Q(s_t,a_t)=r_t+\gamma V(s_{t+1})$，所以优势 $A(s_t,a_t)=Q(s_t,a_t)-V(s_t)=-{\delta }_t$，这使得 A2C 不需要额外的 Q 网络。

和 actor-critic 类似，A2C 也面临自举导致的偏差问题，可以在 critic 上使用目标网络来缓解。