基于无导数强化学习的性能驱动控制器调参
系统与控制
2022-09-13 v1 机器学习
系统与控制
摘要
为所设计控制器选取合适的参数集对最终性能至关重要，但通常需繁琐细致的调参过程，这强烈暗示了对自动调参方法的需求。然而，现有方法中，无导数方法可扩展性差或效率低，而基于梯度的方法常因控制器结构可能不可微而无法使用。为解决这些问题，我们采用一种新颖的无导数强化学习（RL）框架处理控制器调参问题，该框架在经验收集阶段于参数空间执行时间步级扰动，并将无导数策略更新集成到先进的 actor-critic RL 架构中，以实现高通用性与高效率。为展示该框架效力，我们在来自自动驾驶的两个具体实例上进行数值实验，即带 PID 控制器的自适应巡航控制与带 MPC 控制器的轨迹跟踪。实验结果表明所提方法优于流行基线，并凸显其在控制器调参方面的强大潜力。
引用
@article{arxiv.2209.04854,
title = {Performance-Driven Controller Tuning via Derivative-Free Reinforcement Learning},
author = {Yuheng Lei and Jianyu Chen and Shengbo Eben Li and Sifa Zheng},
journal= {arXiv preprint arXiv:2209.04854},
year = {2022}
}
备注
Accepted by the 61st IEEE Conference on Decision and Control (CDC), 2022. Copyright @IEEE