见之不同，行之相似：异构可观测模仿学习
机器学习
2022-10-10 v4 人工智能
摘要
在许多现实世界的模仿学习任务中，示范者与学习者必须在不同的观测空间下行动。这种情况给现有模仿学习方法带来了显著障碍，因为其中大多数在同质观测空间下学习策略。另一方面，先前关于不同观测空间的研究有很强假设，即这两个观测空间在整个学习过程中共存。然而在现实中，由于获取专家观测的成本高昂，观测共存会受到限制。在本工作中，我们研究这一在异构观测下观测共存受限的挑战性问题：异构可观测模仿学习（HOIL）。我们指出了 HOIL 中的两个潜在问题：动力学失配与支持失配，并进一步提出基于重要性加权和带拒绝学习的重要性加权与拒绝（IWRE）算法来解决 HOIL 问题。实验结果表明，IWRE 能够解决各类 HOIL 任务，包括在 Atari 领域将基于视觉的示范转化为基于随机存取存储器（RAM）的策略这一挑战性任务，即便在视觉观测受限的情况下。
引用
@article{arxiv.2106.09256,
title = {Seeing Differently, Acting Similarly: Heterogeneously Observable Imitation Learning},
author = {Xin-Qiang Cai and Yao-Xiang Ding and Zi-Xuan Chen and Yuan Jiang and Masashi Sugiyama and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:2106.09256},
year = {2022}
}