用FIRE对抗失败：干预式学习中减轻专家负担的失败识别

有监督模仿学习（也称行为克隆）受分布漂移影响，导致策略执行期间失败。缓解此问题的一种方法是允许专家在任务执行中基于其判定智能体已到达“不可返回点”时纠正智能体动作。随后使用该新纠正数据重新训练智能体策略。此方法本身可学得高性能智能体，但代价高昂：专家必须警惕地观察执行直至策略达到指定成功水平，且即便如此也无法保证策略总是成功。为应对这些局限，我们提出FIRE（干预式学习中减轻专家负担的失败识别），一个可预测运行策略何时失败、中止其执行并请求专家纠正的系统。与仅从专家数据学习的现有方法不同，我们的方法类似对抗学习，从专家与非专家数据中学习。我们针对一系列挑战性操控任务实验证明，该方法能识别导致失败的状态-动作对。这使其可无缝集成到干预式学习系统中，相比最先进的逆强化学习方法我们展示了数量级的样本效率提升，且相较同等数据量下行为克隆学到了大幅更优的性能。