对严格批量模仿学习的批判
机器学习
2021-10-06 v1
摘要
Jarrett 等人近期的工作试图将离线模仿学习(IL)的问题框定为学习一个联合基于能量的模型，以期超越标准行为克隆。我们指出，符号记法上的问题掩盖了作者所提议优化的伪状态访问分布可能与策略的状态访问分布相脱离的事实。我们进一步构造了自然示例，其中 Jarrett 等人所倡导的参数耦合会导致对专家策略的不一致估计，而行为克隆则不会。
引用
@article{arxiv.2110.02063,
title = {A Critique of Strictly Batch Imitation Learning},
author = {Gokul Swamy and Sanjiban Choudhury and J. Andrew Bagnell and Zhiwei Steven Wu},
journal= {arXiv preprint arXiv:2110.02063},
year = {2021}
}