基于模型的SINDy强化学习
机器学习
2022-09-01 v1 人工智能
机器人学
系统与控制
系统与控制
摘要
我们借助物理社区的最新进展，提出一种在强化学习（RL）中发现物理系统主导非线性动力学的新方法。我们确定该方法能够使用显著少于最先进模型学习算法的轨迹（少至一次具有 时间步的rollout）来发现底层动力学。此外，该技术学习的模型足够准确，可在给定显著少于无模型算法所需轨迹的情况下诱导出近最优策略。对于具有基于物理动力学的系统，它带来了基于模型RL的好处，而无需事先开发模型。为确立该算法的有效性与适用性，我们在四个经典控制任务上进行了实验。我们发现，在已发现底层系统动力学上训练的最优策略能很好地泛化。进一步，学习到的策略在实际物理系统上部署时表现良好，从而弥合了模型到真实系统的鸿沟。我们进一步将我们的方法与最先进的基于模型和无模型方法比较，表明与其他方法相比，我们的方法需要在真实物理系统上采样的轨迹更少。此外，我们探索了近似动力学模型，发现它们也能表现良好。
引用
@article{arxiv.2208.14501,
title = {Model-Based Reinforcement Learning with SINDy},
author = {Rushiv Arora and Bruno Castro da Silva and Eliot Moss},
journal= {arXiv preprint arXiv:2208.14501},
year = {2022}
}
备注
8 pages, 1 figure, 1 table, 1 algorithm, presented at the Decision Awareness in Reinforcement Learning workshop held at the International Conference on Machine Learning, 22 July 2022, Baltimore MD, USA