用于有腿移动操作的视觉全身控制

我们研究使用配备机械臂的有腿机器人进行移动操作的问题，即有腿移动操作（legged loco-manipulation）。通常用于移动的机器人腿部，提供了通过进行全身控制来放大操作能力的机会。也就是说，机器人可以同时控制腿部和机械臂以扩展其工作空间。我们提出了一个能够利用视觉观测自主进行全身控制的框架。我们的方法即视觉全身控制（VBC），由一个利用所有自由度来跟踪机体速度和末端执行器位置的低层策略，以及一个基于视觉输入提出速度和末端执行器位置的高层策略组成。我们在仿真中训练这两个层级的策略，并执行 Sim2Real 迁移以进行真实机器人部署。我们进行了广泛的实验，并表明在拾取不同配置（高度、位置、方向）和环境中的各种物体方面，相比基线有显著改进。