Sim-to-Real 学习的技能迁移与发现：基于表示的视角
机器学习
2024-04-09 v1 机器人学
摘要
我们使用表示学习研究了机器人控制背景下的 sim-to-real 技能迁移与发现。我们从马尔可夫决策过程的谱分解中汲取灵感。该谱分解产生的表示能够线性表示由任意策略诱导的状态-动作值函数，因此可以被视为技能。这些技能表示可以在具有相同转移动力学的任意任务之间迁移。此外，为了处理动力学中的 sim-to-real 差距，我们提出了一种技能发现算法，该算法从真实世界数据中学习由 sim-to-real 差距引起的新技能。我们通过在学习到的技能与来自模拟器的技能之间施加正交约束来促进新技能的发现，然后使用扩充后的技能集来合成策略。我们通过将四旋翼控制器从模拟器迁移到 Crazyflie 2.1 四旋翼飞行器来验证我们的方法。我们展示了可以从单个模拟器任务中学习技能表示，并将其迁移到多个不同的真实世界任务中，包括悬停、起飞、降落和轨迹跟踪。我们的技能发现方法有助于缩小 sim-to-real 差距，并将真实世界控制器的性能提升高达 30.2%。
引用
@article{arxiv.2404.05051,
title = {Skill Transfer and Discovery for Sim-to-Real Learning: A Representation-Based Viewpoint},
author = {Haitong Ma and Zhaolin Ren and Bo Dai and Na Li},
journal= {arXiv preprint arXiv:2404.05051},
year = {2024}
}
备注
9 pages, 6 figures. Project page: https://congharvard.github.io/steady-sim-to-real/