GEM：用于学习动态控制系统的群增强模型
系统与控制
2021-04-08 v1 人工智能
系统与控制
摘要
学习自主智能体所处物理系统的动态是一项重要任务。这些系统常呈现出明显的几何结构。例如，机械臂的轨迹可分解为其平移与旋转运动的集合，并由相应的李群（Lie group）与李代数（Lie algebra）完全刻画。本工作中，我们利用这些结构构建适用于基于样本学习的有效动态模型。我们假设在李代数向量空间上学习动态比学习直接状态转移模型更有效。为验证该假设，我们提出群增强模型（Group Enhanced Model, GEM）。在包括 Walker、Hopper、Reacher、Half-Cheetah、倒立摆、Ant 与 Humanoid 在内的一系列标准连续控制环境中，GEM 在长期预测、规划与基于模型的强化学习任务上显著优于传统转移模型。此外，将 GEM 接入现有最优系统可提升其性能，我们在 PETS 系统上进行了验证。本工作揭示了动态学习与李群性质之间的联系，为该方向的新研究与实用应用开辟了道路。我们的代码公开于：https://tinyurl.com/GEMMBRL。
引用
@article{arxiv.2104.02844,
title = {GEM: Group Enhanced Model for Learning Dynamical Control Systems},
author = {Philippe Hansen-Estruch and Wenling Shang and Lerrel Pinto and Pieter Abbeel and Stas Tiomkin},
journal= {arXiv preprint arXiv:2104.02844},
year = {2021}
}
备注
14 pages, 8 figures