IIFL：基于异构人类监督者的隐式交互车队学习
机器人学
2023-10-23 v2 人工智能
摘要
模仿学习已应用于一系列机器人任务，但当机器人遇到训练数据中未代表的边缘情况（即分布偏移）时可能表现不佳。交互车队学习（IFL）通过允许机器人在任务执行期间访问远程人类监督者并随时间从中学习来缓解分布偏移，但不同监督者可能以不同方式演示任务。近期工作提出隐式行为克隆（IBC），其能够使用基于能量的模型（EBMs）表示多模态演示。在本工作中，我们提出隐式交互车队学习（IIFL），一种构建于 IBC 之上的、从多个异构人类监督者进行交互式模仿学习的算法。IIFL 的一个关键洞见是使用 Jeffreys 散度对 EBMs 进行不确定性量化的新方法。尽管 IIFL 比显式方法计算开销更大，结果表明在仿真实验中 IIFL 的成功率比（显式）IFL、IBC 及其他基线高 2.8 倍，在物理推块任务中人类投入回报率高 4.5 倍。
引用
@article{arxiv.2306.15228,
title = {IIFL: Implicit Interactive Fleet Learning from Heterogeneous Human Supervisors},
author = {Gaurav Datta and Ryan Hoque and Anrui Gu and Eugen Solowjow and Ken Goldberg},
journal= {arXiv preprint arXiv:2306.15228},
year = {2023}
}
备注
CoRL 2023