一类具有不完全信息的可解马尔可夫决策模型
最优化与控制
2021-09-30 v4
摘要
本文研究了具有不完全信息（MDPII）且考虑期望总成本的马尔可夫决策过程存在最优策略的自然条件。MDPII 是带有不完全状态观测的受控随机过程的经典模型，它比部分可观测马尔可夫决策过程（POMDPs）更为一般。对于 MDPII，我们引入了半一致 Feller 转移概率的概念，它强于弱连续转移概率的概念。我们证明了 MDPII 具有半一致 Feller 转移概率当且仅当对应的信念 MDP 也具有半一致 Feller 转移概率。这一事实有几个推论。特别地，它给出了新的并蕴含了所有已知的关于具有期望总成本的 POMDP 存在最优策略的充分条件。
引用
@article{arxiv.1903.11629,
title = {A Class of Solvable Markov Decision Models with Incomplete Information},
author = {Eugene A. Feinberg and Pavlo O. Kasyanov and Michael Z. Zgurovsky},
journal= {arXiv preprint arXiv:1903.11629},
year = {2021}
}