通过观看学习：机器人操作基于视频的学习方法综述

机器人操作技能的学习受到缺乏多样化、无偏见数据集的阻碍。虽然精心整理的数据集有所帮助，但在泛化能力和向真实世界迁移方面仍存在挑战。同时，大规模“自然”视频数据集通过自监督技术推动了计算机视觉领域的进步。将此转化到机器人领域，最近的研究探索了通过被动观看来自网络的海量视频来学习操作技能。这些基于视频的学习范式展示了可喜的结果，在减少数据集偏差的同时提供了可扩展的监督。本综述回顾了视频特征表示学习技术、物体可供性理解、3D 手部/人体建模和大规模机器人资源等基础，以及从不受控的视频演示中获取机器人操作技能的新兴技术。我们讨论了仅从观察大规模人类视频中进行学习如何增强机器人操作的泛化能力和样本效率。本综述总结了基于视频的学习方法，分析了它们相对于标准数据集的优势、评估指标和基准，并讨论了这一处于计算机视觉、自然语言处理和机器人学习交叉点的新兴领域中的开放挑战和未来方向。