不可知交互式模仿学习：新理论与实用算法
机器学习
2024-07-18 v2
摘要
我们研究交互式模仿学习，其中学习者交互式地向示范专家查询动作标注，旨在使用尽可能少的标注学习到性能与专家具有竞争力的策略。我们关注一般的不可知设定，其中专家示范策略可能不包含在学习者使用的策略类中。我们提出了一种新的预言机高效算法 MFTPL-P（带有泊松扰动的混合跟随扰动领导者 的缩写），在假设学习者可以获得来自状态上某种“探索性”分布的样本的情况下，该算法具有可证明的有限样本保证。我们的保证适用于任何策略类，这比先前最先进的工作宽泛得多。我们进一步提出了 Bootstrap-Dagger，一种不需要额外样本访问的更实用的变体。从实验上看，MFTPL-P 和 Bootstrap-Dagger 在连续控制任务中显著超越了在线和离线模仿学习基线。
引用
@article{arxiv.2312.16860,
title = {Agnostic Interactive Imitation Learning: New Theory and Practical Algorithms},
author = {Yichen Li and Chicheng Zhang},
journal= {arXiv preprint arXiv:2312.16860},
year = {2024}
}
备注
38 pages, 59 figures, under review of AISTATS conference