关于策略梯度方法的收敛速率
最优化与控制
2022-03-08 v2 机器学习
摘要
我们考虑具有有限状态和动作空间的无限 horizon 折扣马尔可夫决策问题，并研究投影策略梯度方法以及一类通用的策略镜像下降方法（均在策略空间中直接参数化）的收敛速率。首先，我们发展了弱梯度映射占优理论，并借此证明投影策略梯度方法更尖锐的次线性收敛速率。接着我们表明，采用几何递增步长时，一类通用的策略镜像下降方法（包括自然策略梯度方法与一种投影 Q-下降方法）均享有线性收敛速率，而无需依赖熵或其他强凸正则化。最后，我们还分析了一种不精确策略镜像下降方法的收敛速率，并在简单生成模型下估计其样本复杂度。
引用
@article{arxiv.2201.07443,
title = {On the Convergence Rates of Policy Gradient Methods},
author = {Lin Xiao},
journal= {arXiv preprint arXiv:2201.07443},
year = {2022}
}
备注
This version removed a mistake and related comments in the previous version of the paper. Specifically, Theorem 1 of the previous version (arXiv:2201.07443v1) state that weighted value function is both quasi-concave and quasi-convex, which is wrong. Fortunately this mistake does not affect rest of the results that are contained in this version