若有错误请纠正我：面向机器人操作的互动学习

从视觉观测中学习解决复杂操作任务是真实世界机器人学习的主要挑战。尽管深度强化学习算法近期在此背景下展示了令人印象深刻的成果，它们仍需要不切实际的大量耗时试错迭代。在本工作中，我们考虑一种有前景的替代范式——互动学习，其中人类教师在执行过程中向策略提供反馈，而非使用预先收集的完美演示数据集的模仿学习。我们提出的 CEILing（纠正性与评价性互动学习）框架结合了来自教师的纠正性与评价性反馈，以异步方式训练随机策略，并采用专门机制来权衡人类纠正与机器人自身经验。我们展示了在大量仿真和真实世界实验中由该框架取得的结果，以证明 CEILing 能够在少于一小时的真实世界训练中直接从原始图像有效解决复杂机器人操作任务。