通过预训练表征实现可泛化的模仿学习

在本文中，我们利用自监督视觉Transformer模型及其涌现的语义能力来提升模仿学习策略的泛化能力。我们提出DVK，一种利用丰富的预训练视觉Transformer块级嵌入以在学习通过示范进行模仿时获得更好泛化的模仿学习算法。我们的学习器通过将外观特征聚类为与语义概念关联的组，形成稳定的关键点，从而在一大类外观变化与物体类型上实现泛化。我们通过对一组多样化的物体操控任务数据集评估模仿学习，展示了该表征如何实现泛化行为。为促进对模仿学习中泛化问题的进一步研究，我们的方法、评估以及数据集的全部代码均已公开。