ReACT：利用 B 样条几何进行控制器参数化的强化学习
机器学习
2024-01-11 v1 人工智能
系统与控制
系统与控制
摘要
稳健且高性能的控制器对于工业应用至关重要。然而，为复杂和非线性系统推导控制器参数既具有挑战性又耗时。为促进自动控制器参数化，本工作提出了一种利用深度强化学习 (DRL) 与 N 维 B 样条几何 (BSGs) 的新方法。我们专注于参数变异系统的控制，这是一类行为复杂且依赖于运行条件的系统。对于此类系统，由于设计原理成熟，增益调度控制结构在跨行业的应用中得到了广泛使用。为了促进针对这些控制结构的昂贵控制器参数化任务，我们部署了一个 DRL 智能体。基于控制系统观测值，该智能体自主决定如何调整控制器参数。通过引入 BSGs 来映射可能依赖于众多运行条件的控制器参数，我们使调整过程更加高效。为了预处理时间序列数据并提取固定长度的特征向量，我们使用了长短期记忆 (LSTM) 神经网络。此外，本工作贡献了适用于与现实环境（不同于训练环境）相关的智能体正则化方法。因此，我们将 dropout 层归一化应用于截断分位数评论家 (TQC) 算法的演员和评论家网络。为了展示我们方法的工作原理和有效性，我们在具有参数查找表的工业控制结构的参数化任务上训练并评估了 DRL 智能体。
引用
@article{arxiv.2401.05251,
title = {ReACT: Reinforcement Learning for Controller Parametrization using B-Spline Geometries},
author = {Thomas Rudolf and Daniel Flögel and Tobias Schürmann and Simon Süß and Stefan Schwab and Sören Hohmann},
journal= {arXiv preprint arXiv:2401.05251},
year = {2024}
}
备注
7 pages, 7 figures, accepted at the 2023 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Honolulu, HI, USA