迈向更具泛化能力的一次性视觉模仿学习
机器人学
2022-02-09 v2 人工智能
机器学习
摘要
一个通用机器人应当能够掌握广泛的任务，并利用过往经验快速学习新任务。一次性模仿学习（OSIL）通过用专家演示（对）训练智能体来实现这一目标，使其在测试时仅从一次演示即可直接执行新任务。然而，迄今为止该框架仅限于在某一任务的多种变体上训练，并在同一任务的其他未见但相似的变体上测试。在本工作中，我们通过对更具挑战性的多任务设定进行探究，推动更高水平的泛化能力。我们引入了一套多样的基于视觉的机器人操作任务，包含 7 个任务、共 61 种变体，以及每种变体内连续的实例。为保持一致性与可比性，我们首先训练并评估单任务智能体（如先前少样本模仿工作所做）。随后我们研究多任务设定，其中多任务训练后接（i）训练任务内变体的一次性模仿，（ii）新任务上的一次性模仿，以及（iii）新任务上的微调。已有的最优方法虽在某些单任务上表现良好，但在这些更困难的多任务设定中表现不佳。为应对这些局限，我们提出 MOSAIC（基于自注意力与对比学习的多任务一次性模仿，Multi-task One-Shot Imitation with self-Attention and Contrastive learning），其集成了自注意力模型架构与时间对比模块，以实现更好的任务消歧与更鲁棒的表示学习。我们的实验表明，MOSAIC 在学习效率、最终性能上优于先前最优方法，并通过在新任务上微调学习到了具有良好泛化能力的多任务策略。
引用
@article{arxiv.2110.13423,
title = {Towards More Generalizable One-shot Visual Imitation Learning},
author = {Zhao Mandi and Fangchen Liu and Kimin Lee and Pieter Abbeel},
journal= {arXiv preprint arXiv:2110.13423},
year = {2022}
}