基于观察的行为克隆

人类通常通过模仿来学习如何执行任务：他们观察他人执行任务，然后非常快速地根据观察推断出应采取的适当动作。虽然将这一范式推广到自主智能体是一个被广泛研究的问题，但有两个特定方面在很大程度上被忽视了：（1）学习仅从观察中进行（即无显式动作信息），以及（2）学习通常非常快速。在这项工作中，我们提出了一种称为基于观察的行为克隆（behavioral cloning from observation, BCO）的两阶段自主模仿学习技术，旨在这两个方面都提供改进的性能。首先，我们允许智能体以自监督方式获取经验。该经验用于开发一个模型，然后利用该模型通过观察专家执行特定任务（不知晓所采取的具体动作）来学习该任务。我们在实验上将 BCO 与包括最先进的生成对抗模仿学习（generative adversarial imitation learning, GAIL）技术在内的模仿学习方法进行比较，并展示在多个不同仿真领域中具有相当的任务性能，同时在专家轨迹可用后表现出更快的学习速度。