BeamDojo：稀疏足部上的敏捷型人形机器人 locomotion 学习

在稀疏足部 terrain 上进行路径遍历是人形机器人面临的重大挑战，要求精确的脚步位置和稳定的 locomotion。现有的基于学习的方法在此类复杂 terrain 上常因稀疏脚步奖励和低效学习过程而难以胜任。为此，我们引入 BeamDojo，一个专为在稀疏脚步上实现敏捷型人形 locomotion 而设计的强化学习(RL) 框架。BeamDojo 开始引入针对多边形脚的采样式脚步奖励，以及双 critique 以平衡稠密 locomotion 奖励与稀疏脚步奖励之间的学习过程。为鼓励充分的试错探索，BeamDojo 采用两阶段 RL 方法：第一阶段通过在平坦 terrain 上训练人形机器人并提供任务-terrain 感知观测来放宽 terrain 动力学，第二阶段在实际任务 terrain 上精炼策略。此外，我们实现了基于 onboard LiDAR 的elevation 图，以实现实际部署。广泛的仿真和实际实验表明，BeamDojo 能在仿真中实现高效学习，并在实际世界中实现在稀疏脚步上的敏捷 locomotion，保持即使在显著外部扰动下也很高的成功率。