An Empirical Investigation of Representation Learning for Imitation
机器学习
2022-05-18 v1 人工智能
摘要
模仿学习通常需要大量的演示集，以处理智能体在部署过程中可能遇到的所有情况。然而，收集专家演示可能成本高昂。近期在视觉、强化学习和自然语言处理 (NLP) 领域的研究表明，辅助表示学习目标可以减少对大量昂贵、任务特定数据的需求。我们的模仿表示学习实证研究 (EIRLI) 探讨了类似的好处是否适用于模仿学习。我们提出了一个用于构建表示学习算法的模块化框架，然后使用该框架在多个环境套件中评估表示学习对模仿的效用。在我们评估的设置中，我们发现，与经过良好调优且包含图像增强的基线相比，现有的基于图像的表示学习算法提供的价值有限。为解释这一结果，我们研究了模仿学习与表示学习已带来显著好处的其他设置（如图像分类）之间的差异。最后，我们发布了一个文档齐全的代码库，该代码库既复现了我们的发现，也提供了一个模块化框架，用于从可重用组件创建新的表示学习算法。
引用
@article{arxiv.2205.07886,
title = {An Empirical Investigation of Representation Learning for Imitation},
author = {Xin Chen and Sam Toyer and Cody Wild and Scott Emmons and Ian Fischer and Kuang-Huei Lee and Neel Alex and Steven H Wang and Ping Luo and Stuart Russell and Pieter Abbeel and Rohin Shah},
journal= {arXiv preprint arXiv:2205.07886},
year = {2022}
}
备注
Accepted to NeurIPS2021 Datasets and Benchmarks Track