受脚步约束的双足动态行走的仿真到实机学习

近期，关于双足机器人强化学习（RL）的研究已成功学习到多种动态步态的控制器，并展示了鲁棒的仿真到实机（sim-to-real）效果。为保持平衡，所学控制器可完全自由地放置双脚，从而产生了极高鲁棒性的步态。然而在真实世界中，环境常会对可行脚步位置施加约束，这些约束通常由感知系统识别。遗憾的是，大多数已展示的双足机器人 RL 控制器不允许指定并响应此类约束。这一控制接口的缺失极大限制了当前 RL 控制器的实际应用。在本文中，我们旨在保持所学步态鲁棒且动态的特性，同时尊重外部施加的脚步约束。我们开发了一种 RL 公式，用于训练能够响应指定触地位置的动态步态控制器。随后我们在双足机器人 Cassie 上成功展示了仿真与仿真到实机性能。此外，我们利用监督学习推导了一个转移模型，用于根据机器人的本体感知观测精确预测控制器可实现的下一触地位置。该模型为将所学控制器集成到全阶机器人运动规划器中铺平了道路，从而鲁棒地同时满足平衡与环境约束。