通过从环视视频中检索学习：用于机器人操作的以观看为导向的学习方法

在复杂且不确定的环境中运行的机器人面临诸多挑战。先进的机器人系统通常依赖大规模数据集来学习操作任务。相比之下，当人类面对陌生任务时（例如组装椅子），常见的做法是通过观看视频演示来学习。在本文中，我们提出了一种新颖的方法，通过从视频检索（RfV）来学习机器人策略，借鉴人类演示的思路来解决操作任务。我们的系统构建了一个包含多样日常任务视频的数据库。为充实这些视频中的知识，我们提取中级信息，如物体功能掩码和手部运动轨迹，这些信息作为额外输入，增强了机器人模型的学习和泛化能力。我们进一步采用双组件系统：一个视频检索器从外部视频库中检索出与任务规格相关的任务相关视频，一个策略生成器将检索到的知识整合到学习循环中。这种方法使机器人能够针对各种情景构建自适应响应，并能泛化到训练数据之外的任务。通过在多个模拟和真实环境中进行严格测试，我们的系统在传统机器人系统之上实现了显著的性能提升，展示了机器人领域的重大突破。