视觉运动策略学习中的自监督对应

本文探讨使用自监督对应以提升视觉运动策略学习的泛化性能与样本效率。先前工作主要使用自编码、基于姿态的损失以及端到端策略优化等方法来训练视觉运动策略的视觉部分。我们转而提出一种使用自监督稠密视觉对应训练的方法，并表明这能以少量数据实现惊人高泛化性能的视觉运动策略学习：利用模仿学习，我们展示了在极具挑战的操作任务上仅用少至 50 次演示的广泛硬件验证。我们学到的策略可跨物体类别泛化、对可变形物体构型作出反应，并在多种背景下操纵无纹理对称物体，所有均通过闭环、实时的基于视觉的策略完成。模拟模仿学习实验表明，与自编码和端到端训练相比，对应训练具有样本复杂度和泛化优势。