具有未观测混杂因素的因果模仿学习
机器学习
2022-08-15 v1 人工智能
摘要
儿童学习的常见方式之一是模仿成人。模仿学习致力于从专家生成的演示中学习具有合适性能的策略，其性能度量未指定且奖励信号未被观测。流行的模仿学习方法要么直接模仿专家的行为策略（行为克隆），要么学习一个优先排序已观测专家轨迹的奖励函数（逆强化学习）。然而，这些方法依赖于如下假设：专家用于决定其行动的协变量已被完全观测。本文放宽该假设，研究当学习者与专家的感觉输入不同时的模仿学习。首先，我们给出一个非参数的图判据，该判据是确定仅凭演示数据与关于底层环境的定性假设（以因果模型形式表示）进行模仿之可行性的完备（必要且充分）条件。接着我们表明，当该判据不成立时，通过利用专家轨迹的定量知识仍可能实现模仿。最后，我们提出了一种从专家轨迹中学习模仿策略的高效过程。
引用
@article{arxiv.2208.06267,
title = {Causal Imitation Learning with Unobserved Confounders},
author = {Junzhe Zhang and Daniel Kumor and Elias Bareinboim},
journal= {arXiv preprint arXiv:2208.06267},
year = {2022}
}