求解线性二次调节器的单时间尺度行动者-评论者方法及其收敛性保证
最优化与控制
2022-06-07 v2 机器学习
摘要
我们提出一种单时间尺度行动者-评论者算法来求解线性二次调节器（LQR）问题。评论者采用最小二乘时序差分（LSTD）方法，行动者使用自然策略梯度方法。我们给出了收敛性证明，其样本复杂度为 。该证明方法适用于一般的单时间尺度双层优化问题。我们还通过数值实验验证了关于收敛性的理论结果。
引用
@article{arxiv.2202.00048,
title = {Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees},
author = {Mo Zhou and Jianfeng Lu},
journal= {arXiv preprint arXiv:2202.00048},
year = {2022}
}
备注
4 figures