基于模型的利用非专家数据的离线模仿学习
机器学习
2022-06-14 v1 人工智能
摘要
尽管行为克隆（BC）在理论上存在复合误差，但其可扩展性与简洁性仍使其成为颇具吸引力的模仿学习算法。相比之下，采用对抗训练的模仿方法通常不存在同样的问题，但需要与环境交互。同时，多数模仿学习方法仅利用最优数据集，而获取其代价远高于次优数据集。一个自然的问题是：我们能否以合理的方式利用次优数据集，否则其将处于闲置状态？我们提出了一种可扩展的基于模型的离线模仿学习算法框架，该框架利用由次优策略和最优策略收集的数据集，并证明其最坏情况次优性关于专家样本随时间范围呈线性。我们通过实验验证了理论结果，并表明所提方法在模拟连续控制领域的低数据场景下始终优于 BC。
引用
@article{arxiv.2206.05521,
title = {Model-based Offline Imitation Learning with Non-expert Data},
author = {Jeongwon Park and Lin Yang},
journal= {arXiv preprint arXiv:2206.05521},
year = {2022}
}