基于生成对抗网络的样本高效模仿学习
机器学习
2019-03-11 v3 机器学习
摘要
GAIL 是近期一种成功的模仿学习架构，它利用了 GAN 中引入的对抗训练过程。尽管 GAIL 能够生成与示教给智能体的行为相似的行为，但为了达到令人满意的性能，其在环境中必须执行的交互次数方面存在很高的样本复杂度。我们将与环境交互以学习行为良好的模仿策略所需的数量大幅缩减，最高可达数个数量级。我们的框架在无模型机制下运行，通过同时 a) 学习一个自调节的对抗训练代理奖励以及 b) 利用离策略 actor-critic 架构，展现出相对于先前方法在样本效率上的显著提升。我们表明我们的方法易于实现，并且学到的智能体保持显著稳定，正如我们在涵盖多种连续控制任务的实验中所展示的那样。视频可视化见：\url{https://youtu.be/-nCsqUJnRKU}。
引用
@article{arxiv.1809.02064,
title = {Sample-Efficient Imitation Learning via Generative Adversarial Nets},
author = {Lionel Blondé and Alexandros Kalousis},
journal= {arXiv preprint arXiv:1809.02064},
year = {2019}
}
备注
Published as a conference paper for AISTATS 2019