为强化学习优化单刚体模型的双足机动动作
机器人学
2022-07-12 v1
摘要
在这项工作中,我们提出了一种为双足机器人高度动态机动动作的一般类别生成降阶模型参考轨迹的方法,用于仿真到真实的强化学习。我们的方法是利用单刚体模型(SRBM)离线优化轨迹库,用作学习策略奖励函数中的专家参考。该方法将模型丰富的旋转和平移动力学行为转换到全阶机器人模型,并成功迁移到真实硬件。SRBM 的简单性允许快速迭代和细化行为,而基于学习的控制器的鲁棒性允许高度动态运动迁移到硬件。在本工作中,我们引入了一组可迁移性约束,将 SRBM 动力学修正以适配实际双足机器人硬件,我们创建动态步进、转向机动和跳跃的最优轨迹的框架,以及我们将参考轨迹整合到强化学习策略的方法。我们引入了一组将 SRBM 动力学修正以适配实际双足机器人硬件的可迁移性约束,我们为各种高度动态机动创建最优轨迹的框架,以及我们为高速奔跑强化学习策略整合参考轨迹的方法。我们在双足机器人 Cassie 上验证了我们的方法,并成功展示了高达 3.0 m/s 的高度动态着地奔跑步态。
引用
@article{arxiv.2207.04163,
title = {Optimizing Bipedal Maneuvers of Single Rigid-Body Models for Reinforcement Learning},
author = {Ryan Batke and Fangzhou Yu and Jeremy Dao and Jonathan Hurst and Ross L. Hatton and Alan Fern and Kevin Green},
journal= {arXiv preprint arXiv:2207.04163},
year = {2022}
}
备注
8 pages, 6 figures