利用$\mathcal{L}_{1}$自适应控制提升强化学习策略的鲁棒性
机器人学
2022-08-31 v7
摘要
由于动态变化的存在，强化学习（RL）控制策略可能在与训练环境不同的新环境或受扰动环境中失效。针对具有连续状态和动作空间的系统控制，我们提出一种附加方法，通过为预训练的RL策略增补自适应控制器（AC）来增强其鲁棒性。利用AC对动态变化进行快速估计与主动补偿的能力，所提方法能够提升在仿真器或真实世界中训练、且未考虑广泛动态变化的RL策略的鲁棒性。数值与真实世界实验实证地展示了该方法在增强使用无模型与基于模型方法训练的RL策略鲁棒性方面的有效性。
引用
@article{arxiv.2112.01953,
title = {Improving the Robustness of Reinforcement Learning Policies with $\mathcal{L}_{1}$ Adaptive Control},
author = {Y. Cheng and P. Zhao and F. Wang and D. J. Block and N. Hovakimyan},
journal= {arXiv preprint arXiv:2112.01953},
year = {2022}
}
备注
Included extended work for the journal version https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=9761728. arXiv admin note: substantial text overlap with arXiv:2106.02249