Soft Actor-Critic (SAC)

2018 年被提出的 Soft Actor-Critic (SAC) 是最大熵强化学习的代表作。它从 2017 年的 Soft Q-Learning 改进而来，在无模型的在线强化学习算法中，SAC 是一种非常高效且稳定的算法，至今仍被广泛使用。

最大熵强化学习

熵 (entropy) 是对随机变量的随机程度的度量。对于连续随机变量，我们通常使用微分熵。在此后的讨论中，如果没有明确说明，我们默认熵指的是微分熵，随机变量指的是连续随机变量。

香农熵的某些性质在连续随机变量和微分熵上并不成立，例如微分熵可以是负数。在使用微分熵时，要注意这些性质的变化。

如果 $X$ 是一个连续随机变量，并且它的概率密度函数为 $p$，那么它的微分熵就定义为

$$\mathcal{H}(X)={\mathbb{E}}_{x\sim p}\left[-\log p(x)\right]$$

在强化学习中，我们可以使用 $\mathcal{H}(\pi (\cdot |s))$ 来表示策略 $\pi$ 在状态 $s$ 下的随机程度。

最大熵强化学习 (maximum entropy RL) 的核心思想是，为了鼓励策略进行探索，除了要求最大化累积奖励，还要使得策略更随机。为此，在强化学习的目标中加入一项熵的正则项，定义为

$${\pi }^{\ast }=\arg \underset{\pi }{\max }{\mathbb{E}}_{\pi }\left[\sum _{t}r(s_t,a_t)+\alpha \mathcal{H}(\pi (\cdot |s_t))\right]$$

其中，$\alpha$ 是一个正则化的系数，用来控制熵的重要程度。

熵强化学习增强了强化学习算法的探索程度，$\alpha$ 越大，探索性就越强，有助于加速后续的策略学习，并减少策略陷入较差的局部最优的可能性。

软策略迭代

重复交替使用软策略评估和软策略提升，最终策略可以收敛到最大熵强化学习目标中的最优策略。

软策略评估

在最大熵强化学习框架中，由于目标函数发生了变化，其他的一些定义也有相应的变化。贝尔曼方程变为软贝尔曼方程 (Soft Bellman Equation):

$$Q(s_t,a_t)=r(s_t,a_t)+\gamma E_{s_{t+1}}[V(s_{t+1})]$$

其中，状态价值函数为

$$V(s_t)=E_{a_t\sim \pi }[Q(s_t,a_t)-\alpha \log \pi (a_t|s_t)]=E_{a_t\sim \pi }[Q(s_t,a_t)]+\mathcal{H}(\pi (\cdot |s_t))$$

在 Soft Q-Learning 中这两个定义的给出方式有所不同，但是实际上定义了相同的函数。这里取了 SAC 中的定义。

软策略评估定理的证明

假定动作空间 $|\mathcal{A}|<\infty$ (为了保证熵增强奖励是有界的)，定义熵增强奖励为：

$$r_{\pi }(s_t,a_t)\triangleq r(s_t,a_t)+{\mathbb{E}}_{s_{t+1}\sim p}[\mathcal{H}(\pi (\cdot |s_{t+1}))]$$

并将更新规则重写为：

$$Q(s_t,a_t)\leftarrow r_{\pi }(s_t,a_t)+\gamma {\mathbb{E}}_{s_{t+1}\sim p,a_{t+1}\sim \pi }[Q(s_{t+1},a_{t+1})]$$

可以通过《Reinforcement learning: An introduction》(Sutton, R. S. and Barto, A. G., 1998) 中的策略评估收敛性完成证明。

软策略提升

有如下软策略提升公式：

$${\pi }_{\text{new}}=\arg \underset{{\pi }^{\prime }}{\min }{D}_{KL}\left({\pi }^{\prime }(\cdot |s),\frac{\exp \left(\frac{1}{\alpha }{Q}^{{\pi }_{\text{old}}}(s,\cdot )\right)}{Z^{{\pi }_{\text{old}}}(s,\cdot )}\right)$$

或者说

$${\pi }_{\text{new}}=\frac{\exp \left(\frac{1}{\alpha }{Q}^{{\pi }_{\text{old}}}(s,\cdot )\right)}{Z^{{\pi }_{\text{old}}}(s,\cdot )}$$

我们可以注意到这里的 $\frac{\exp \left(\frac{1}{\alpha }{Q}^{{\pi }_{\text{old}}}(s,\cdot )\right)}{Z^{{\pi }_{\text{old}}}(s,\cdot )}$ 实际上是一个基于能量的模型 (EBM)

软策略提升定理的证明

我们首先证明如下的引理：

$$\mathcal{H}({\pi }_{\text{old}}(\cdot \mid s))+{\mathbb{E}}_{a\sim {\pi }_{\text{old}}}\left[Q_{\text{soft}}^{{\pi }_{\text{old}}}(s,a)\right]\le \mathcal{H}({\pi }_{\text{new}}(\cdot \mid s))+{\mathbb{E}}_{a\sim {\pi }_{\text{new}}}\left[Q_{\text{soft}}^{{\pi }_{\text{old}}}(s,a)\right]$$

因为

$$\log {\pi }_{\text{new}}(a\mid s)=Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a)-\log \int \exp (Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a^{\prime }))\mathrm{d}{a}^{\prime }$$

对两边同时对 ${\pi }_{\text{old}}$ 取期望得到

$$\int {\pi }_{\text{old}}(a\mid s)\log {\pi }_{\text{new}}(a\mid s)\mathrm{d}a={\mathbb{E}}_{{\pi }_{\text{old}}}[Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a)]-\log \int \exp (Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a^{\prime }))\mathrm{d}{a}^{\prime }$$

右边最后一项与 ${\pi }_{\text{old}}$ 无关所以取期望后不变。所以有：

$$\begin{array}{rl}& H({\pi }_{\text{old}}(\cdot \mid s))+{\mathbb{E}}_{{\pi }_{\text{old}}}[Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a)]\\ =& -\int {\pi }_{\text{old}}(a\mid s)\log {\pi }_{\text{old}}(a\mid s)\mathrm{d}a+{\mathbb{E}}_{{\pi }_{\text{old}}}[Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a)]\\ =& -\int {\pi }_{\text{old}}(a\mid s)\log {\pi }_{\text{old}}(a\mid s)\mathrm{d}a+\int {\pi }_{\text{old}}(a\mid s)\log {\pi }_{\text{new}}(a\mid s)\mathrm{d}a+\log \int \exp (Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a^{\prime }))\mathrm{d}{a}^{\prime }\\ =& -\int {\pi }_{\text{old}}(a\mid s)\log \frac{{\pi }_{\text{old}}(a\mid s)}{{\pi }_{\text{new}}(a\mid s)}\mathrm{d}a+\log \int \exp (Q_{\mathrm{soft}}^{\pi }(s,a^{\prime }))\mathrm{d}{a}^{\prime }\\ =& -D_{\mathrm{KL}}({\pi }_{\text{old}}\Vert {\pi }_{\text{new}})+\log \int \exp (Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a))\mathrm{d}a\\ =& -D_{\mathrm{KL}}({\pi }_{\text{old}}\Vert {\pi }_{\text{new}})+\log \frac{\exp (Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a))}{{\pi }_{\text{new}}(a\mid s)}\\ =& -D_{\mathrm{KL}}({\pi }_{\text{old}}\Vert {\pi }_{\text{new}})+\int {\pi }_{\text{new}}(a\mid s)\log \frac{\exp (Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a))}{{\pi }_{\text{new}}(a\mid s)}da\\ =& -D_{\mathrm{KL}}({\pi }_{\text{old}}\Vert {\pi }_{\text{new}})+\int {\pi }_{\text{new}}(a\mid s)Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a)da-\int {\pi }_{\text{new}}(a\mid s)\log {\pi }_{\text{new}}(a\mid s)da\\ =& -D_{\mathrm{KL}}({\pi }_{\text{old}}\Vert {\pi }_{\text{new}})+{\mathbb{E}}_{{\pi }_{\text{new}}}[Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a)]+H({\pi }_{\text{new}}(\cdot \mid s))\\ \le & {\mathbb{E}}_{{\pi }_{\text{new}}}[Q_{\mathrm{soft}}^{{\pi }_{\text{old}}}(s,a)]+H({\pi }_{\text{new}}(\cdot \mid s))\end{array}$$

在上述引理的基础上有：

$$\begin{array}{rl}{Q}_{\mathrm{soft}}^{\pi }(s,a)& ={\mathbb{E}}_{s_1}\left[r_0+\gamma \left(\mathcal{H}\left(\pi \left(\cdot \mid s_1\right)\right)+{\mathbb{E}}_{a_1\sim \pi }\left[Q_{{\mathrm{soft}}^{\pi }}\left(s_1,a_1\right)\right]\right)\right]\\ & \le {\mathbb{E}}_{s_1}\left[r_0+\gamma \left(\mathcal{H}\left(\tilde{\pi }\left(\cdot \mid s_1\right)\right)+{\mathbb{E}}_{a_1\sim \tilde{\pi }}\left[Q_{{\mathrm{soft}}^{\pi }}\left(s_1,a_1\right)\right]\right)\right]\\ & ={\mathbb{E}}_{s_1}\left[r_0+\gamma \left(\mathcal{H}\left(\tilde{\pi }\left(\cdot \mid s_1\right)\right)+r_1\right)\right]+{\gamma }^2{\mathbb{E}}_{s_2}\left[\mathcal{H}\left(\pi \left(\cdot \mid s_2\right)\right)+{\mathbb{E}}_{a_2\sim \pi }\left[Q_{\mathrm{soft}}^{\pi }\left(s_2,a_2\right)\right]\right]\\ & \le {\mathbb{E}}_{s_1}[r_0+\gamma \left(\mathcal{H}\left(\tilde{\pi }\left(\cdot \mid s_1\right)\right)+r_1\right]+{\gamma }^2{\mathbb{E}}_{s_2}\left[\mathcal{H}\left(\tilde{\pi }\left(\cdot \mid s_2\right)\right)+{\mathbb{E}}_{a_2\sim \tilde{\pi }}\left[Q_{\mathrm{soft}}^{\pi }\left(s_2,a_2\right)\right]\right]\\ & ={\mathbb{E}}_{s_1{a}_2\sim \tilde{\pi },s_2}\left[r_0+\gamma \left(\mathcal{H}\left(\tilde{\pi }\left(\cdot \mid s_1\right)\right)+r_1\right)+{\gamma }^2\left(\mathcal{H}\left(\tilde{\pi }\left(\cdot \mid s_2\right)\right)+r_2\right)\right]+{\gamma }^3{\mathbb{E}}_{s_3}\left[\mathcal{H}\left(\tilde{\pi }\left(\cdot \mid s_3\right)\right)+{\mathbb{E}}_{a_3\sim \tilde{\pi }}\left[Q_{\mathrm{soft}}^{\pi }\left(s_3,a_3\right)\right]\right]\\ & ⋮\\ & \le {\mathbb{E}}_{\tau \sim \tilde{\pi }}\left[r_0+\sum _{t=1}^{\infty }{\gamma }^t\left(\mathcal{H}\left(\tilde{\pi }\left(\cdot \mid s_t\right)\right)+r_t\right)\right]\\ & =Q_{\mathrm{soft}}^{\tilde{\pi }}(s,a).\end{array}$$

损失函数

原始论文中的 SAC 除了 Q 函数之外，还会学习一个值函数 $V_{\psi }$；但是在更现代的实现中则只学习 Q 函数。本文介绍后者。

SAC 进一步拓展了目标网络和 DDQN 的思想，使用两个网络 $Q_{{\omega }_1},Q_{{\omega }_2}$ 来估计 $Q$ 函数，在每次使用 Q 值时，选择两个网络中 Q 值较小的那个；同时，两个网络分别具有目标网络 $Q_{{\omega }_1^{-}},Q_{{\omega }_2^{-}}$，用于计算目标 Q 值。策略则被策略网络 ${\pi }_{\theta }$ 建模为高斯分布，使用重参数化技巧进行采样。

任意一个 $Q$ 网络损失函数为:

$$\begin{array}{rl}& L_Q(\omega )\\ =& {\mathbb{E}}_{(s_t,a_t,r_t,s_{t+1})\sim R}\left[\frac{1}{2}{\left(Q_{\omega }(s_t,a_t)-(r_t+\gamma V_{{\omega }^{-}}(s_{t+1}))\right)}^2\right]\\ =& {\mathbb{E}}_{(s_t,a_t,r_t,s_{t+1})\sim R,a_{t+1}\sim {\pi }_{\theta }(\cdot |s_{t+1})}\left[\frac{1}{2}{\left(Q_{\omega }(s_t,a_t)-\left(r_t+\gamma \left(\underset{j=1,2}{\min }{Q}_{{\omega }_j^{-}}(s_{t+1},a_{t+1})-\alpha \log \pi (a_{t+1}|s_{t+1})\right)\right)\right)}^2\right]\end{array}$$

其中，$R$ 是策略过去收集的数据 (从 Replay Buffer 中提取)。

$\pi$ 的损失函数由 KL 散度得到，化简后为:

$$L_{\pi }(\theta )={\mathbb{E}}_{s_t\sim R,a_t\sim {\pi }_{\theta }}\left[\alpha \log ({\pi }_{\theta }(a_t|s_t))-Q_{\omega }(s_t,a_t)\right]$$

可以理解为最大化函数 $V$，因为有 $V(s_t)={\mathbb{E}}_{a_t\sim \pi }\left[Q(s_t,a_t)-\alpha \log \pi (a_t|s_t)\right]$。

熵正则项的自动调节

SAC 也有固定熵正则项系数的版本。但是自动调整的版本性能更好。

一些文献也将熵正则项系数 $\alpha$ 称为温度系数 (temperature parameter), 但是强化学习中充斥着各种意义不同的被称为温度的参数，本文尽量采取更加明确的说法。

熵正则项的系数 $\alpha$ 是 SAC 中非常重要的一个参数。在不同的状态下需要不同大小的熵：

• 在最优动作不确定的某个状态下，熵的取值应该大一点
• 在最优动作比较确定的状态下，熵的取值可以小一点

因此，比较合适的选择是对 $\alpha$ 进行自动调节。为了自动调整熵正则项，SAC 将强化学习的目标改写为一个带约束的优化问题 (其中 ${\rho }_{\pi }$ 表示策略 $\pi$ 采样得到的状态动作对的分布)：

$$\underset{\pi }{\max }{\mathbb{E}}_{\pi }\left[\sum _{t}r(s_t,a_t)\right]\text{s.t.}{\mathbb{E}}_{(s_t,a_t)\sim {\rho }_{\pi }}\left[-\log ({\pi }_t(a_t|s_t))\right]\ge {\mathcal{H}}_0$$

也就是最大化期望回报，同时约束熵的均值大于 ${\mathcal{H}}_0$。化简得到 $\alpha$ 的损失函数：

$$L(\alpha )=E_{s_t\sim R,a_t\sim \pi (-|s_t)}\left[-\alpha \log \pi (a_t|s_t)-\alpha {\mathcal{H}}_0\right]$$

即当策略的熵低于目标值 ${\mathcal{H}}_0$ 时，训练目标 $L(\alpha )$ 会使得 $\alpha$ 的值增大，进而在最小化上述损失函数 $L_{\pi }(\theta )$ 的过程中增加了策略熵对应项的重要性；而当策略的熵高于目标值 ${\mathcal{H}}_0$ 时，训练目标 $L(\alpha )$ 会使得 $\alpha$ 的值减小，进而使得策略训练时更专注于价值提升。