行为检索：通过查询无标签数据集的少样本模仿学习
机器人学
2023-05-16 v2 人工智能
机器学习
摘要
使机器人能以数据高效的方式学习新颖的视觉运动技能仍是一个未解决的问题，且伴随无数挑战。解决该问题的一种流行范式是利用包含多种行为的大型无标签数据集，随后使用少量任务特定的人类监督（如干预或演示）将策略适配到特定任务。然而，如何最佳地利用狭窄的的任务特定监督并使其与离线数据相平衡仍是一个开放问题。我们在本工作中的关键洞见是：任务特定数据不仅为智能体提供新的训练数据，还能指示智能体应用于学习的先验数据类型。具体而言，我们提出一种简单方法，使用少量下游专家数据从离线无标签数据集（包含许多次优行为）中有选择地查询相关行为。随后智能体在专家数据与查询数据上联合训练。我们观察到我们的方法学会仅查询与任务相关的转移，过滤掉次优或与任务无关的数据。如此，相比朴素地混合数据或仅使用任务特定数据，它能从任务特定与离线数据的混合中更有效地学习。此外，我们发现这一简单查询方法在基于图像的模拟与真实机器人操作任务上比更复杂的目标条件方法高出 20%。参见 https://sites.google.com/view/behaviorretrieval 获取视频与代码。
引用
@article{arxiv.2304.08742,
title = {Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled Datasets},
author = {Maximilian Du and Suraj Nair and Dorsa Sadigh and Chelsea Finn},
journal= {arXiv preprint arXiv:2304.08742},
year = {2023}
}