MobILE：仅从观测的基于模型的模仿学习
机器学习
2022-02-01 v3 机器学习
摘要
本文研究仅从观测的模仿学习（ILFO），其中学习者面对的专家演示仅由专家访问过的状态组成（无法获取专家采取的行动）。我们提出一个可证明高效的基于模型的框架MobILE来解决ILFO问题。MobILE精心权衡策略性探索与模仿——这是通过将面对不确定性的乐观主义思想整合进分布匹配模仿学习（IL）框架来实现的。我们为MobILE提供了统一分析，并证明MobILE对于满足某些公认结构复杂性概念的MDP动态类享有强劲的性能保证。我们还通过给出IL与ILFO之间指数级样本复杂度分离，表明ILFO问题严格难于标准IL问题。我们以基准OpenAI Gym任务上的实验仿真补充这些理论结果，表明MobILE的有效性。实现MobILE框架的代码可在 https://github.com/rahulkidambi/MobILE-NeurIPS2021 获取。
引用
@article{arxiv.2102.10769,
title = {MobILE: Model-Based Imitation Learning From Observation Alone},
author = {Rahul Kidambi and Jonathan Chang and Wen Sun},
journal= {arXiv preprint arXiv:2102.10769},
year = {2022}
}
备注
29 pages, 7 figures