从观测历史进行行为克隆中对抗复制者智能体
机器学习
2020-10-29 v1 机器人学
摘要
模仿学习训练策略以将输入观测映射到专家所选的动作。在此设定下,分布偏移常加剧将专家动作错误归因于观测变量中干扰相关因素的效果。我们观察到,当专家动作随时间强相关时,这种因果混淆在部分观测设定中的一个常见实例是:模仿者学会通过预测专家的前一动作而非下一动作来作弊。为应对这一“复制者问题”,我们提出一种对抗方法来学习特征表示,去除关于前一专家动作这一干扰相关因素的冗余信息,同时保留预测下一动作所需的信息。在我们的实验中,我们的方法在多种部分观测模仿学习任务上显著提升了性能。
引用
@article{arxiv.2010.14876,
title = {Fighting Copycat Agents in Behavioral Cloning from Observation Histories},
author = {Chuan Wen and Jierui Lin and Trevor Darrell and Dinesh Jayaraman and Yang Gao},
journal= {arXiv preprint arXiv:2010.14876},
year = {2020}
}
备注
Published at NeurIPS 2020 9 pages(exclude reference and appendices)