用于单调马尔可夫决策过程最优策略合成的符号 - 显式算法（扩展版）
数据结构与算法
2014-06-23 v3
摘要
在处理具有大状态空间的马尔可夫决策过程 (MDPs) 时，使用显式表示很快变得不可行。最近，Wimmer 等人提出了一种所谓的符号 - 显式 (symblicit) 算法，用于在期望平均收益的定量设定下合成 MDPs 中的最优策略。该算法基于 Howard 和 Veinott 的策略迭代算法，有效地结合了符号和显式数据结构，并使用二元决策图作为符号表示。本文旨在表明，伪反链（反链的扩展）这一新数据结构提供了另一种有趣的替代方案，特别是对于单调 MDPs 类。我们设计了基于伪反链的高效符号 - 显式算法（含开源实现），适用于两种定量设定：期望平均收益和随机最短路径。针对来自自动规划和 LTL 合成的两个实际应用，我们报告了在运行时间和内存消耗方面令人鼓舞的实验结果。
引用
@article{arxiv.1402.1076,
title = {Symblicit algorithms for optimal strategy synthesis in monotonic Markov decision processes (extended version)},
author = {Aaron Bohy and Véronique Bruyère and Jean-François Raskin},
journal= {arXiv preprint arXiv:1402.1076},
year = {2014}
}