基于约束残差强化学习的机电系统自适应控制
系统与控制
2021-10-07 v1 机器学习
系统与控制
摘要
我们提出了一种简单、实用且直观的方法，利用深度强化学习在不确定环境中提升传统控制器的性能，同时保持安全操作。我们的方法源于如下观察：工业运动控制中的传统控制器为应对不同工况而重视鲁棒性而非适应性，因此是非最优的。另一方面，强化学习可直接从输入输出数据优化控制信号从而适应运行条件，但缺乏安全性保证，阻碍其在工业环境中的应用。为在此类条件下利用强化学习实现自适应控制，我们遵循残差学习方法，即由强化学习算法学习对传统控制器输出的校正性调整以提高最优性。我们研究了如何约束残差智能体的动作，从而借助基础控制器的鲁棒性保证安全操作。我们详述了算法设计，并提出相对于基础控制器约束残差动作以增强方法的鲁棒性。基于李雅普诺夫稳定性理论，我们证明了一大类机电闭环系统的稳定性。我们在曲柄滑块实验装置上验证了该方法，并研究了约束如何影响学习过程中的安全性及收敛后的最优性。
引用
@article{arxiv.2110.02566,
title = {Adaptive control of a mechatronic system using constrained residual reinforcement learning},
author = {Tom Staessens and Tom Lefebvre and Guillaume Crevecoeur},
journal= {arXiv preprint arXiv:2110.02566},
year = {2021}
}