从观测进行模仿学习的近期进展

模仿学习是一个智能体试图利用另一个通常更专业的智能体执行同一任务所生成的信息，来学习如何执行某任务的过程。传统上，模仿者可以访问专家执行任务所生成的状态和动作信息（例如，专家可能使用机械臂提供物体放置的示教演示）。然而，要求动作信息阻碍了从大量现有宝贵学习资源（如人类执行任务的在线视频）进行模仿学习。为克服此问题，从观测模仿（IfO）这一特定问题近期引起了极大关注，其中模仿者仅可访问专家生成的状态信息（例如视频帧）。在本文中，我们提供针对 IfO 所开发方法的文献综述，并指出一些开放研究问题与潜在未来工作。