时间相关噪声下的因果模仿学习
机器学习
2022-02-04 v1 机器人学
摘要
我们开发了从被专家动作中时间相关噪声污染的策略数据进行模仿学习的算法。当噪声影响记录数据的多个时间步时，它可能表现为状态与动作之间的虚假相关性，学习者可能会依附于这些相关性，导致策略性能不佳。为打破这些虚假相关性，我们应用计量经济学中工具变量回归（IVR）技术的现代变体，使我们能够在无需访问交互式专家的情况下恢复底层策略。具体而言，我们提出两种技术：一种具有生成建模特点（DoubIL），可利用对模拟器的访问；另一种具有博弈论特点（ResiduIL），可完全离线运行。我们发现，在模拟控制任务上，我们的两种算法均优于行为克隆。
引用
@article{arxiv.2202.01312,
title = {Causal Imitation Learning under Temporally Correlated Noise},
author = {Gokul Swamy and Sanjiban Choudhury and J. Andrew Bagnell and Zhiwei Steven Wu},
journal= {arXiv preprint arXiv:2202.01312},
year = {2022}
}