ReMoBot：基于检索的few-shot移动操作仿照学习
机器人学
2025-09-19 v3
摘要
仿照学习 (IL) 算法通常将经验蒸馏为参数化行为策略以模仿专家演示。然而，在演示数量有限时，现有方法常难以生成准确动作，尤其在部分可观测性情况下。为此，我们引入一种few-shot IL 方法 ReMoBot，直接从演示中检索信息以解决以 ego-centric 视觉观测为目标的移动操作任务。给定当前观测后，ReMoBot 利用视觉基础模型识别相关演示，考虑单个观测和历史轨迹的视觉相似性。随后，运动选择策略选择适当的机器人命令，直至任务成功完成。我们在仿真和真实世界中对 ReMoBot 在三个移动操作任务上进行评估。经对仿真环境中的五种方法进行基准测试后，我们在真实世界中与两种基线方法进行比较，直接在真实数据集上训练而无需仿真到真实的迁移。仅需 20 次演示，ReMoBot 在 Table Uncover (70%) 和 Gap Cover (80%) 任务上超越基线方法，实现高成功率，同时在更具挑战性的 Curtain Open 任务中也表现出色。此外，ReMoBot 在不同机器人位置、物体尺寸和材料类型下 demonstrate 了良好的泛化能力。更多细节请参见：https://sites.google.com/view/remobot/home
引用
@article{arxiv.2408.15919,
title = {ReMoBot: Retrieval-Based Few-Shot Imitation Learning for Mobile Manipulation with Vision Foundation Models},
author = {Yuying Zhang and Wenyan Yang and Francesco Verdoja and Ville Kyrki and Joni Pajarinen},
journal= {arXiv preprint arXiv:2408.15919},
year = {2025}
}