FlowRetrieval：用于少样本模仿学习的流引导数据检索
机器人学
2024-10-14 v2 机器学习
摘要
少样本模仿学习仅依赖少量特定任务的演示，即可为给定的下游任务高效适配策略。基于检索的方法有望在学习策略时检索相关的过往经验以增强目标数据。然而，现有的数据检索方法处于两个极端：要么依赖先前数据中存在视觉相似场景下的精确行为，这在实际中难以假设；要么基于任务的高级语言描述的语义相似性进行检索，而这可能无法充分反映跨任务间共享的低层行为或运动，而后者往往是检索策略学习相关数据的关键因素。在本工作中，我们研究了如何利用海量跨任务数据中的运动相似性来改进目标任务的少样本模仿学习。我们的核心见解是，运动相似的数据携带了关于动作效果和物体交互的丰富信息，可在少样本适配时加以利用。我们提出了 FlowRetrieval，这是一种利用光流表示的方法，既用于从先前数据中提取与目标任务相似的运动，又用于引导策略学习以最大化从这些数据中获益。结果表明，FlowRetrieval 在模拟和真实世界领域中均显著优于先前的方法，成功率平均比最佳的基于检索的先前方法高出 27%。在使用真实 Franka Emika 机器人的 Pen-in-Cup 任务中，FlowRetrieval 的性能是基于所有先前和目标数据学习的基线模仿学习技术的 3.7 倍。网站：https://flow-retrieval.github.io
引用
@article{arxiv.2408.16944,
title = {FlowRetrieval: Flow-Guided Data Retrieval for Few-Shot Imitation Learning},
author = {Li-Heng Lin and Yuchen Cui and Amber Xie and Tianyu Hua and Dorsa Sadigh},
journal= {arXiv preprint arXiv:2408.16944},
year = {2024}
}