关于无模型方法求解线性二次调节器的分析
最优化与控制
2020-07-09 v1
摘要
许多强化学习方法在实践中取得巨大成功，但缺乏理论基础。本文研究线性二次调节器（LQR）问题的收敛性分析。针对策略梯度算法、TD学习以及行动者-评论者（AC）算法等几种流行算法，建立了其全局线性收敛性质与样本复杂度。我们的结果表明，与策略梯度算法相比，行动者-评论者算法能够降低样本复杂度。尽管我们的分析仍是初步的，但它在某种意义上解释了AC算法的益处。
引用
@article{arxiv.2007.03861,
title = {On the Analysis of Model-free Methods for the Linear Quadratic Regulator},
author = {Zeyu Jin and Johann Michael Schmitt and Zaiwen Wen},
journal= {arXiv preprint arXiv:2007.03861},
year = {2020}
}