模仿学习与强化学习中潜在混杂因子的协变量偏移
机器学习
2021-10-14 v1 人工智能
机器人学
摘要
我们考虑利用带有未观测混杂因子的专家数据进行模仿学习和强化学习的问题。我们首先在上下文 MDP 设定中定义从受混杂影响的专家数据学习的问题。我们分析了在有外部奖励和无外部奖励情况下从此类数据学习的局限性，并提出了一种针对该设定调整标准模仿学习算法的方法。随后我们讨论了当数据仅部分可观测时，专家数据与在线环境之间的分布偏移问题。我们证明了在缺失协变量任意分布偏移下模仿学习的可能性与不可能性结果。当提供额外的外部奖励时，我们提出一种采样过程来解决未知偏移，并证明收敛到最优解。最后，我们在具有挑战性的辅助医疗和推荐系统仿真任务上对我们的论断进行了实证验证。
引用
@article{arxiv.2110.06539,
title = {On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning},
author = {Guy Tennenholtz and Assaf Hallak and Gal Dalal and Shie Mannor and Gal Chechik and Uri Shalit},
journal= {arXiv preprint arXiv:2110.06539},
year = {2021}
}