树上无跳跃马尔可夫决策过程的模型与算法
最优化与控制
2013-11-11 v2 人工智能
概率论
摘要
我们引入了一类用于多维控制问题的模型，称之为树上无跳跃马尔可夫决策过程。我们描述并分析了一种适用于此类在负方向上无跳跃的马尔可夫决策过程的算法。从有限平均成本情况开始，我们表明该算法结合了值迭代和策略迭代的优点——它保证在有限次迭代后收敛到最优策略和最优值函数，但每次迭代步骤所需的计算量与值迭代相当。我们表明该算法也可用于求解折扣成本模型和连续时间模型，并且经过适当修改的算法可用于求解通信模型。
引用
@article{arxiv.1309.4291,
title = {Models and algorithms for skip-free Markov decision processes on trees},
author = {E. J. Collins},
journal= {arXiv preprint arXiv:1309.4291},
year = {2013}
}
备注
v1: 20 pages Accepted for publication subject to minor changes by the Journal of the Operational Research Society (JORS); v2: 22 pages, 1 figure, revised title, example added