活跃视觉或许就是你所需的：探索双手机器人操作中的主动视觉

仿照学习已在使用视觉反馈执行高精度操作任务方面展现出巨大潜力。然而，仿照学习中摄像机往往固定放置，导致遮挡和视野受限的问题；此外，摄像机常置于宽广的通用位置，而非针对机器人任务的有效视点。本文我们探讨了主动视觉（AV）在仿照学习和操作中的实用性，其中，除了操作策略外，机器人还从人类演示中学习一种AV策略，以动态更改机器人的摄像机视角，以获得有关其环境和给定任务的更好信息。我们引入了AV-ALOHA系统，这是一个具有AV功能的新的双手遥操作机器人系统，是ALOHA 2机器人系统的延伸，集成了一个仅携带立体相机的额外7自由度机械臂，专为寻找最佳视点而设计。该摄像机将立体视频流传输给佩戴虚拟现实（VR）头盔的运营商，使其能够通过头部和身体运动控制摄像机姿态。该系统提供了沉浸式的遥操作体验，实现双手一手术控制，使运营商能够动态探索和搜索场景并同时与环境交互。我们在真实世界和仿真环境中对该系统进行仿照学习实验，涵盖多种强调视点规划的任务。我们的结果表明，人类引导的AV对于仿照学习有效，显示出相对于固定摄像机在视野受限的任务中显著的改进。项目网址：https://soltanilara.github.io/av-aloha/。