带墓态的马尔可夫决策过程中的极端占据测度

本文考虑一个具有 Borel 状态空间 $\textbf{X}\cup\{\Delta\}$ 的马尔可夫决策过程（MDP），其中 $\Delta$ 为吸收态（墓态），以及 Borel 动作空间 $\textbf{A}$。我们考察限制于 $\textbf{X}\times \textbf{A}$ 上的有限占据测度空间及其中的极值点。某些策略可能具有无限占据测度。尽管如此，我们证明每个有限极端占据测度均由确定性平稳策略生成。进而，对该 MDP 我们考虑一个带总未折扣准则与 $J$ 个约束的约束问题，其中代价函数非负。由假设，引发无限占据测度的策略非最优。于是，我们的第二个主要结果为：在温和条件下，该约束 MDP 的解由不超过 $J+1$ 个由确定性平稳策略生成的占据测度之混合给出。