REINFORCE

REINFORCE 是基于策略梯度定理的策略网络训练算法。它使用蒙特卡洛方法近似 $Q_{\pi }(s,a)$，把它替换成回报 $u$。

不带基线的 REINFORCE

它的训练流程如下：

1. 用策略网络 ${\mathbf{\theta }}_{\text{now}}$ 控制智能体进行一个 episode 的采样，得到轨迹 $\{s_1,a_1,r_1,s_2,a_2,r_2,\cdots ,s_n,a_n,r_n\}$
2. 计算回报 $u_t={\sum }_{k=t}^n{\gamma }^{k-t}{r}_k,\forall t=1,\cdots ,n$
3. 计算梯度 ${\nabla }_{\mathbf{\theta }}\ln \pi (a_t|s_t;{\mathbf{\theta }}_{\text{now}}),\forall t=1,\cdots ,n$
4. 进行梯度更新 ${\mathbf{\theta }}_{\text{new}}\leftarrow {\mathbf{\theta }}_{\text{now}}+\beta {\sum }_{t=1}^n{\gamma }^{t-1}{u}_t{\nabla }_{\mathbf{\theta }}\ln \pi (a_t|s_t;{\mathbf{\theta }}_{\text{now}})$

带基线的 REINFORCE

带基线的 REINFORCE 需要额外训练一个价值网络 $v(s,\mathbf{w})$，用于估计状态价值 $V_{\pi }(s)$。它的训练流程如下:

1. 用策略网络 ${\mathbf{\theta }}_{\text{now}}$ 控制智能体进行一个 episode 的采样，得到轨迹 $\{s_1,a_1,r_1,s_2,a_2,r_2,\cdots ,s_n,a_n,r_n\}$
2. 计算回报 $u_t={\sum }_{k=t}^n{\gamma }^{k-t}{r}_k,\forall t=1,\cdots ,n$
3. 使用价值网络进行预测 ${\hat{v}}_t=v(s_t,;{\mathbf{w}}_{\text{now}}),\forall t=1,\cdots ,n$
4. 计算预测误差 ${\delta }_t={\hat{v}}_t-u_t,\forall t=1,\cdots ,n$
5. 更新价值网络 ${\mathbf{w}}_{\text{new}}\leftarrow {\mathbf{w}}_{\text{now}}-\alpha {\sum }_{t=1}^n{\delta }_t{\nabla }_{\mathbf{w}}v(s_t;{\mathbf{w}}_{\text{now}})$
6. 计算梯度 ${\nabla }_{\mathbf{\theta }}\ln \pi (a_t|s_t;{\mathbf{\theta }}_{\text{now}}),\forall t=1,\cdots ,n$
7. 更新策略网络 ${\mathbf{\theta }}_{\text{new}}\leftarrow {\mathbf{\theta }}_{\text{now}}+\beta {\sum }_{t=1}^n{\gamma }^{t-1}{\delta }_t{\nabla }_{\mathbf{\theta }}\ln \pi (a_t|s_t;{\mathbf{\theta }}_{\text{now}})$