线性二次型调节器的策略梯度自适应控制：间接与直接方法
最优化与控制
2025-06-16 v2 系统与控制
系统与控制
摘要
受强化学习和直接数据驱动控制最新进展的启发，我们提出了用于线性二次型调节器（LQR）的策略梯度自适应控制（PGAC），该方法利用在线闭环数据在保持稳定性的同时改进控制策略。我们的方法通过沿LQR代价的梯度下降来自适应地更新反馈策略，并分为间接方法（通过估计模型计算梯度）和直接方法（使用样本协方差参数化从数据中推导梯度）。除普通梯度外，我们还展示了自然梯度和高斯-牛顿方法在策略更新中的优点。值得注意的是，自然梯度下降架起了间接和直接PGAC的桥梁，而间接PGAC的高斯-牛顿方法则导出了著名的Hewer算法的自适应版本。为了考虑噪声带来的不确定性，我们为间接和直接PGAC提出了一种正则化方法。对于所有考虑的PGAC方法，我们证明了闭环稳定性和策略收敛到最优LQR增益。仿真验证了我们的理论发现，并展示了PGAC的鲁棒性和计算效率。
引用
@article{arxiv.2505.03706,
title = {Policy Gradient Adaptive Control for the LQR: Indirect and Direct Approaches},
author = {Feiran Zhao and Alessandro Chiuso and Florian Dörfler},
journal= {arXiv preprint arXiv:2505.03706},
year = {2025}
}