受可达性约束的 MDP 中总折扣代价最小化问题研究
最优化与控制
2021-03-18 v1
摘要
我们研究在马尔可夫决策过程（MDP）中综合一种策略，使得智能体在遵循该策略到达 MDP 中目标状态的同时最小化其总折扣代价。该问题将可达性准则与折扣代价准则相结合，自然地表达了在概率保证下完成任务并具备最优瞬态性能的要求。我们首先证明，所考虑形式化的最优策略可能不存在，但总存在一个近最优平稳策略。此外，我们给出了最优策略存在的充要条件。随后，我们将注意力限制在平稳确定性策略上，并证明与综合最优平稳确定性策略相关的决策问题是 NP 完全的。最后，我们给出了一种基于混合整数线性规划的精确算法，并提出了一种基于线性规划的高效近似算法用于综合最优平稳确定性策略。
引用
@article{arxiv.2103.09295,
title = {On Minimizing Total Discounted Cost in MDPs Subject to Reachability Constraints},
author = {Yagiz Savas and Christos K. Verginis and Michael Hibbard and Ufuk Topcu},
journal= {arXiv preprint arXiv:2103.09295},
year = {2021}
}
备注
8 pages, 2 figures