针对具有非线性控制的线性二次调节器的策略梯度的同伦方法
最优化与控制
2021-12-15 v1
摘要
我们研究在连续状态和动作空间中，当搜索空间不限于线性策略族时，原型线性二次调节器（LQR）问题的确定性策略梯度算法的收敛性。我们首先给出一个反例，表明将策略类扩展到分段线性函数会导致策略梯度算法的局部极小。为解决该问题，我们开发了一种新方法，涉及在原始策略梯度算法的迭代之间顺序增大折扣因子。我们最终证明，对于一大类 Lipschitz 非线性策略，这种策略梯度方法的同伦变体收敛到无折扣线性二次调节器问题的全局最优解。
引用
@article{arxiv.2112.07612,
title = {A homotopic approach to policy gradients for linear quadratic regulators with nonlinear controls},
author = {Craig Xu Chen and Andrea Agazzi},
journal= {arXiv preprint arXiv:2112.07612},
year = {2021}
}
备注
28 pages, 3 figures