基于强化学习在受限三维空间中的灵巧足式移动

利用深度强化学习（RL）的移动控制器近期取得了显著进展，在崎岖岩石、非刚性地面和湿滑表面等挑战性地形上实现了快速且鲁棒的移动。然而，虽然这些控制器主要解决机器人下方的挑战，但针对狭窄隧道或不规则空隙等受限三维空间（施加全方位约束）的足式移动研究相对较少。现有基于 RL 的方法通过学习以速度和身体高度等运动参数为特征的参数化移动技能所产生的周期性步态模式，可能不足以引导机器人穿越具有挑战性的受限三维空间，这需要敏捷的三维避障能力和鲁棒的足式移动能力。相反，我们提出从受限三维空间中的目标导向导航端到端地学习移动技能。为解决跟踪远距离导航目标的低效问题，我们引入了一种分层移动控制器，该控制器结合了一个负责规划通往遥远全局目标位置的路点的经典规划器，以及一个经过训练以通过生成低级运动命令来跟随这些路点的基于 RL 的策略。这种方法允许策略在整个解空间中探索其自身的移动技能，并促进局部目标之间的平滑过渡，从而实现朝向遥远目标的长期导航。在仿真中，我们的分层方法成功穿越了要求苛刻的受限三维环境，优于纯端到端学习方法和参数化移动技能。我们进一步展示了将在仿真中训练的控制器成功部署到真实机器人上。