基于能量的模型

基于能量的模型 (Energy-Based Models, EBM) 是一种生成模型，它通过一个能量函数 $\mathcal{E}(x)$ 来定义数据的分布 $p(x)$:

$$p(x)=\frac{1}{Z}\exp (-\mathcal{E}(x))$$

其中 $Z$ 是归一化常数，确保概率分布的和为 1。

EBM 与最大熵强化学习

基于能量的模型与最大熵强化学习有很深的联系。最大熵强化学习的策略提升的更新目标为

$${\pi }_{\text{new}}=\frac{\exp \left(\frac{1}{\alpha }{Q}^{{\pi }_{\text{old}}}(s,\cdot )\right)}{Z}$$

由此我们可以得到，最优策略 ${\pi }^{\ast }$ 满足：

$${\pi }^{\ast }=\frac{\exp \left(\frac{1}{\alpha }{Q}^{{\pi }^{\ast }}(s,\cdot )\right)}{Z}$$

EBM 与离线强化学习

类似地，离线强化学习中，通常使用的一个优化目标是

$$\begin{array}{rl}\underset{\pi }{\max }& {\mathbb{E}}_{a\sim \pi (\cdot |s)}[Q^{\pi }(s,a)]-\lambda D_{\text{KL}}(\pi (\cdot |s)||{\pi }_{\beta }(\cdot |s))\\ \text{s.t.}& \int \pi (a|s)da=1\end{array}$$

其中 ${\pi }_{\beta }$ 是一个参考策略，通常是数据集中的采样策略。这里的约束条件通常被省略。

其闭式解为：

$$\pi (a|s)=\frac{\exp (Q^{\pi }(s,a)/\lambda )}{Z}{\pi }_{\beta }(a|s)$$

注意这并不是一个 EBM, 而是一个 EBM 与参考策略的乘积。

证明

将目标函数展开为积分形式：

$$\int \pi (a|s)Q(s,a)da-\lambda \int \pi (a|s)\left(\log \frac{\pi (a|s)}{{\pi }_{\beta }(a|s)}\right)da$$

构造拉格朗日函数：

$$L=\int \pi (a|s)Q(s,a)da-\lambda \int \pi (a|s)\left(\log \pi (a|s)-\log {\pi }_{\beta }(a|s)\right)da+\mu \left(1-\int \pi (a|s)da\right)$$

其中 $\mu$ 为拉格朗日乘数。对 $\pi (a|s)$ 求变分导数并令其为零：

$$Q(s,a)-\lambda \left(\log \pi (a|s)-\log {\pi }_{\beta }(a|s)+1\right)-\mu =0$$

整理方程得到：

$$\log \frac{\pi (a|s)}{{\pi }_{\beta }(a|s)}=\frac{Q(s,a)}{\lambda }-\frac{\mu }{\lambda }-1$$

取指数后得：

$$\pi (a|s)={\pi }_{\beta }(a|s)\exp \left(\frac{Q(s,a)}{\lambda }\right)\cdot \exp \left(-\frac{\mu }{\lambda }-1\right)$$

将常数项 $\exp (-\frac{\mu }{\lambda }-1)$ 合并进归一化因子 $Z$，最终闭式解为：

$$\pi (a|s)=\frac{{\pi }_{\beta }(a|s)\exp \left(\frac{Q^{\pi }(s,a)}{\lambda }\right)}{Z}$$

其中 $Z=\int {\pi }_{\beta }(a|s)\exp \left(\frac{Q^{\pi }(s,a)}{\lambda }\right)da$