针对具有可数离散动作空间与严格无界代价的均代价马尔可夫决策过程的最小对方法
最优化与控制
2020-05-06 v2
摘要
我们考虑具有 Borel 状态空间、可数离散动作空间和严格无界单阶段代价的均代价马尔可夫决策过程（MDPs）。对于最小对方法，我们引入了对状态转移随机核的一个新优超条件，以替代 MDP 模型通常所需的连续性条件。我们将此优超条件与卢津定理结合，证明了平稳最小对的存在性，即一个平稳策略与状态空间上诱导的不变概率测度配对，该对在所有策略和初始分布上达到最小长期平均代价。我们还建立了平稳最小对的其他最优性性质，并且对于此类对中的平稳策略，在额外的递推性或正则性条件下，证明了其路径最优性与强最优性。我们的结果可应用于一类动作空间可数、其动态与单阶段代价关于状态变量不连续的 MDPs。
引用
@article{arxiv.1902.10685,
title = {On the Minimum Pair Approach for Average-Cost Markov Decision Processes with Countable Discrete Action Spaces and Strictly Unbounded Costs},
author = {Huizhen Yu},
journal= {arXiv preprint arXiv:1902.10685},
year = {2020}
}
备注
25 pages; to appear in SIAM Journal on Control and Optimization. This paper extends the author's earlier results in Section 4 of arXiv:1901.03374v1