人形机器人的预知式遥操作

人形机器人有望成为在 inaccessible 场所远程作业的通用且直观的人类化身：机器人可在远端复现配备可穿戴动作捕捉设备的操作者的动作，同时向操作者发送视觉反馈。尽管在将人体运动转移（“重定向”）至人形机器人方面已取得实质性进展，但阻碍此类系统在实际中部署的一个主要问题是人类输入与机器人反馈之间存在通信延迟：即便几百毫秒的延迟也会不可逆转地干扰操作者，更不用说几秒的延迟了。为克服这些延迟，我们引入了一种系统，其中人形机器人在实际接收到指令之前就执行命令，从而使视觉反馈对操作者而言看似同步，而机器人实际执行的是过去的命令。为此，机器人通过查询一个机器学习模型持续预测未来指令，该模型在过往轨迹上训练并以最后接收到的指令为条件。在我们的实验中，操作者在多种全身操作任务中成功控制了具有 32 个自由度的人形机器人，面对随机延迟高达 2 秒的情况，任务包括到达不同目标、拾取瓶子以及将盒子放置于不同位置。