使用 $\mathcal{L}_1$ 自适应控制的鲁棒基于模型强化学习
系统与控制
2024-03-25 v1 机器学习
系统与控制
摘要
我们引入了 -MBRL，一种用于基于模型强化学习 (MBRL) 算法的控制论增强方案。与无模型方法不同，MBRL 算法利用数据学习转移函数的模型，并使用它来设计控制输入。我们的方法根据所提出的切换律，生成一系列学习到的转移函数的近似控制仿射模型。使用该近似模型，底层 MBRL 产生的控制输入受到 自适应控制的扰动，该控制旨在增强系统面对不确定性时的鲁棒性。重要的是，该方法对 MBRL 算法的选择不可知，使得该方案能够与各种 MBRL 算法配合使用。带有 增强的 MBRL 算法在多个 MuJoCo 环境中展现出增强的性能和样本效率，无论是否存在系统噪声，均优于原始的 MBRL 算法。
引用
@article{arxiv.2403.14860,
title = {Robust Model Based Reinforcement Learning Using $\mathcal{L}_1$ Adaptive Control},
author = {Minjun Sung and Sambhu H. Karumanchi and Aditya Gahlawat and Naira Hovakimyan},
journal= {arXiv preprint arXiv:2403.14860},
year = {2024}
}