PopArt

PopArt (Preserving Outputs Precisely, while Adaptively Rescaling Targets) 是 DeepMind 在 NIPS (在 2018 年改名为 NeurIPS) 2016 上发表的一种对预测值和目标值进行归一化 (normalization) 的方法。

在基于价值的强化学习中，当我们更新行为策略时，价值函数的大小乃至数量级可能会随着时间而变化。简单的乘以一个常数无法适应数量级的改变，而对奖励或 TD 目标进行裁剪可能改变智能体的实际目标并导致性质不同的行为。PopArt 可以自适应地归一化预测值和目标值，从而解决上述问题。

目标的归一化

在 PopArt 中我们对预测值 $h_{\mathbf{\theta }}(X)$ (例如价值网络的输出) 和目标值 $Y$ (例如 TD 目标) 进行归一化以使得它们保持一致的比例。首先使用仿射变换对目标进行归一化：

$$\tilde{Y}={\mathbf{\Sigma }}^{-1}(Y-\mathbf{\mu })\text{\hspace{1em}(1)}$$

其中 $\mathbf{\mu },\mathbf{\Sigma }$ 通过历史 $Y$ 值来计算。遵循原论文，假设 $Y$ 是标量，$Y_i$ 是第 $i$ 个时间步的 $Y$ 值，那么：

$$\begin{array}{rl}{\mu }_t& =\frac{1}{t}\sum _{i=1}^t{Y}_i\\ {\sigma }_t& =\frac{1}{t}\sum _{i=1}^t{Y}_i^2-{\mu }_t^2\end{array}\text{\hspace{1em}(2)}$$

它们也可以增量计算：

$$\begin{array}{rl}{\mu }_t& =(1-{\beta }_t){\mu }_{t-1}+{\beta }_t{Y}_t\\ {\sigma }_t& =v_t-{\mu }_t^2,\text{ 其中 }{v}_t=(1-{\beta }_t)v_{t-1}+{\beta }_t{Y}_t^2\end{array}\text{\hspace{1em}(3)}$$

可以很容易拓展到多变量情况。

预测值的归一化

预测值 $h_{\mathbf{\theta }}(X)$ 被归一化为：

$$g_{\mathbf{\theta },\mathbf{W},\mathbf{b}}(X)=\mathbf{W}{h}_{\mathbf{\theta }}(X)+\mathbf{b}\text{\hspace{1em}(4)}$$

将其代入 (1) 中的 $Y$，我们得到：

$$f_{\mathbf{\theta },\mathbf{\Sigma },\mathbf{\mu },\mathbf{W},\mathbf{b}}(X)=\mathbf{\Sigma }{g}_{\mathbf{\theta },\mathbf{W},\mathbf{b}}(X)+\mathbf{\mu }=\mathbf{\Sigma }(\mathbf{W}{h}_{\mathbf{\theta }}(X)+\mathbf{b})+\mathbf{\mu }\text{\hspace{1em}(5)}$$

在 (5) 中 $f$ 依赖于 $\mathbf{\Sigma },\mathbf{\mu }$，因此当它们发生变化时 $f$ 也会变化。这种由目标值的变化引起的变化并不是我们所期望的。因此我们需要更改参数 $\mathbf{W},\mathbf{b}$:

$$\begin{array}{rl}{\mathbf{W}}_{\text{new}}& ={\mathbf{\Sigma }}_{\text{new}}^{-1}\mathbf{\Sigma }\mathbf{W}\\ {\mathbf{b}}_{\text{new}}& ={\mathbf{\Sigma }}_{\text{new}}^{-1}(\mathbf{\Sigma }\mathbf{b}+\mathbf{\mu }-{\mathbf{\mu }}_{\text{new}})\end{array}\text{\hspace{1em}(6)}$$

其中 ${\mathbf{\Sigma }}_{\text{new}},{\mathbf{\mu }}_{\text{new}}$ 是新的 $\mathbf{\Sigma },\mathbf{\mu }$。这样我们就得到了：

$$f_{\mathbf{\theta },\mathbf{\Sigma },\mathbf{\mu },\mathbf{W},\mathbf{b}}(X)=f_{\mathbf{\theta },{\mathbf{\Sigma }}_{\text{new}},{\mathbf{\mu }}_{\text{new}},{\mathbf{W}}_{\text{new}},{\mathbf{b}}_{\text{new}}}(X)\text{\hspace{1em}(7)}$$

PopArt 算法

对于每个时间步 $t=1,2,\dots$：

1. 使用 $Y_t$ 根据 (3) 更新 $\mathbf{\mu },\mathbf{\Sigma }$
2. 根据 (6) 更新 $\mathbf{W},\mathbf{b}$
3. 根据 (1) 计算归一化目标值 ${\tilde{Y}}_t$
4. 根据 (4) 计算归一化预测值 $g(X_t)$
5. 进行梯度更新

需要注意的是，$\mathbf{W},\mathbf{b}$ 在第二步和第五步中都进行了更新。