带补充数据集的离线模仿学习的理论分析
机器学习
2023-01-30 v1
摘要
行为克隆（BC）能从大量专家数据中恢复出良好策略，但在专家数据不足时可能失效。本文考虑这样一种情形：除少量专家数据外，还存在一个可由次优策略廉价收集的补充数据集。带补充数据集的模仿学习是一种新兴的实用框架，但其理论基础仍不成熟。为增进理解，我们首先研究BC的一个直接扩展，称为NBCU，它从所有可用数据的并集学习。我们的分析表明，尽管NBCU在最坏情况下承受比BC更大的模仿差距，但存在NBCU优于或与BC同等表现的特例。这一发现意味着若精心利用，噪声数据亦可有助益。因此，我们进一步引入基于判别器的重要性采样技术对补充数据重新加权，提出WBCU方法。借助我们新近开发的基于景观的分析，我们证明WBCU在温和条件下可优于BC。实证研究表明，WBCU在两个具有挑战性的任务上同时取得最佳表现，而先前最先进的方法均告失败。
引用
@article{arxiv.2301.11687,
title = {Theoretical Analysis of Offline Imitation With Supplementary Dataset},
author = {Ziniu Li and Tian Xu and Yang Yu and Zhi-Quan Luo},
journal= {arXiv preprint arXiv:2301.11687},
year = {2023}
}