Actor-Critic

actor-critic 是基于策略梯度定理的强化学习算法。它使用神经网络近似 $Q_{\pi }(s,a)$。

actor-critic 使用价值网络 (被称为 critic) $q(s,a;\mathbf{w})$ 近似 $Q_{\pi }(s,a)$，其中 $\mathbf{w}$ 是价值网络的参数。与此相对，策略网络 $\pi (a|s;\mathbf{\theta })$ 被称为 actor。于是近似策略梯度被写为:

$$\hat{g}(s,a;\mathbf{\theta })=q(s,a;\mathbf{w})\cdot \frac{\partial \ln \pi (a|s;\mathbf{\theta })}{\partial \mathbf{\theta }}$$

critic 在训练过程中打出的分数会越来越高，因为 ${\nabla }_{\mathbf{\theta }}v(s;\mathbf{\theta })={\mathbb{E}}_{A\sim \pi (\cdot |s;\mathbf{\theta })}[\hat{g}(s,a;\mathbf{\theta })]$。

critic 可以使用 SARSA 进行训练，而 actor 则使用策略梯度方法训练。具体的训练流程为：

1. 基于当前状态 $s_t$，actor 选择动作 $a_t\sim \pi (\cdot |s_t;{\mathbf{\theta }}_{\text{now}})$ 并执行
2. 观察奖励 $r_t$ 和下一个状态 $s_{t+1}$
3. 决策 $a_{t+1}\sim \pi (\cdot |s_{t+1};{\mathbf{\theta }}_{\text{now}})$ 但不执行
4. 使用 critic 估计 ${\hat{q}}_t=q(s_t,a_t;{\mathbf{w}}_{\text{now}})$ 和 ${\hat{q}}_{t+1}=q(s_{t+1},a_{t+1};{\mathbf{w}}_{\text{now}})$
5. 计算 TD 误差 ${\delta }_t={\hat{q}}_t-r_t-\gamma {\hat{q}}_{t+1}$
6. 更新 critic: ${\mathbf{w}}_{\text{new}}\leftarrow {\mathbf{w}}_{\text{now}}-\alpha {\delta }_t{\nabla }_{\mathbf{w}}q(s_t,a_t;{\mathbf{w}}_{\text{now}})$
7. 更新 actor: ${\mathbf{\theta }}_{\text{new}}\leftarrow {\mathbf{\theta }}_{\text{now}}+\beta {\delta }_t{\nabla }_{\mathbf{\theta }}\ln \pi (a_t|s_t;{\mathbf{\theta }}_{\text{now}})$

和 SARSA 类似，actor-critic 也面临自举导致的偏差问题，可以在 critic 上使用目标网络来缓解。