部分可观察的马尔可夫决策过程 (POMDP)

POMDP

部分可观察的马尔可夫决策过程 (Partially Observable Markov Decision Process, POMDP) 是马尔可夫决策过程 (MDP) 的一个拓展，用于建模智能体在不完全观察的环境中的决策问题。在 POMDP 中，智能体不能直接观察到环境的状态，而是通过观察到的部分信息来推断环境的状态，然后选择动作。

POMDP 可以通过一个七元组 $(S,A,P,R,\Omega ,O,\gamma )$ 来定义，其中：

• $S,A,P,R,\gamma$ 的定义与 MDP 相同
• $\Omega$ 是观察空间，表示所有可能的观察 (observation) 的集合
• $O:S\times A\times \Omega \mapsto \mathbb{R}$ 是观察概率函数，表示在执行动作 $a$ 到达状态 $s^{\prime }$ 后，观察到观察 $o$ 的概率，即 $O(o|s^{\prime },a)$

与 MDP 不同，POMDP 中的智能体不能直接观察到环境的状态 $s$。在环境处于状态 $s\in S$ 时智能体采取动作 $a\in A$ 将导致环境以概率 $P(s^{\prime }|s,a)$ 转移到下一个状态 $s^{\prime }\in S$，获得奖励 $R(s,a,s^{\prime })$ 并以概率 $O(o|s^{\prime },a)$ 观察到 $o\in \Omega$。

此时，智能体的策略 (policy) 被定义为从观察 (observation) 的历史映射到动作 (或动作的分布) 的函数。智能体的目标是找到一个最优策略，使得累积奖励最大化。

信念状态和信念 MDP

马尔可夫信念状态 (Markovian belief state) 允许将 POMDP 表述为马尔可夫决策过程，其中每个信念 (belief) 都是一个状态。因此，由此产生的信念 MDP (belief MDP) 将在连续状态空间上定义 (即使原始 POMDP 具有有限数量的状态，因为状态空间 $S$ 上有无限多的概率分布，信念空间也将无限的) 。

信念 MDP 可以被定义为五元组 $(B,A,\tau ,r,\gamma )$，其中：

• $B$ 是 POMDP 状态之上的信念空间
• $A$ 是动作空间，与 POMDP 的动作空间相同
• $\tau :B\times A\times B\mapsto \mathbb{R}$ 是状态转移概率函数，表示在信念 $b$ 下执行动作 $a$ 后，下一个信念是 $b^{\prime }$ 的概率，即 $\tau (b^{\prime }|b,a)$
  • 可以从原始 POMDP 派生: $\tau (b^{\prime }|b,a)={\sum }_{o\in \Omega }\mathbb{I}(b^{\prime }|b,a,o)\mathrm{Pr}(o|a,b)$
  • $\mathbb{I}(b^{\prime }|b,a,o)$ 为在信念 $b$ 下执行动作 $a$ 并观察到 $o$ 后，下一个信念是 $b^{\prime }$ 的判别函数，即如果下一个信念是 $b^{\prime }$ 则为 1，否则为 0
• $r:B\times A\mapsto \mathbb{R}$ 是奖励函数，表示在信念 $b$ 下执行动作 $a$ 后获得的奖励 $r(b,a)$
  • 可以从原始 POMDP 派生: $r(b,a)={\sum }_{s\in S}b(s)R(s,a)$
• $\gamma$ 是折扣因子，与 POMDP 的折扣因子相同

信念 MDP 不再是部分可观察的，因为给定历史下智能体知道它的信念。