从凸优化到马尔可夫决策过程：MDP一阶、二阶与拟牛顿方法综述
最优化与控制
2021-11-29 v2
摘要
在本文中，我们综述了求解马尔可夫决策过程（MDPs）的经典算法与凸优化中基于梯度的经典算法之间的联系。其中一些联系可追溯到20世纪80年代，但近年来它们获得了发展动力，并催生了求解MDPs的更快算法。特别地，求解MDPs最流行的两种方法——值迭代与策略迭代，可分别与凸优化中的一阶和二阶方法相联系。此外，拟牛顿方法的最新成果引出了MDPs的新算法，如Anderson加速。通过将MDPs算法明确归类为一阶、二阶和拟牛顿方法，我们希望增进对这些算法的理解，并进一步拓展这一类比，以借助凸优化的最新进展来帮助开发MDPs的新算法。
引用
@article{arxiv.2104.10677,
title = {From Convex Optimization to MDPs: A Review of First-Order, Second-Order and Quasi-Newton Methods for MDPs},
author = {Julien Grand-Clément},
journal= {arXiv preprint arXiv:2104.10677},
year = {2021}
}