基于双松弛对比学习的开放词汇移动操作
机器人学
2024-12-25 v2 计算与语言
计算机视觉与模式识别
摘要
劳动力短缺正在增加家庭服务机器人（DSR）在 various 场景中协助的需求。本研究开发了一款能够根据开放词汇指令将日常物品运输到指定家具的 DSR。我们的 approach 关注从预收集的室内环境图像中检索目标物品和容器的图像。例如，给定指令“请把右边的红毛巾挂在金属毛巾架上，然后放到左边的白色洗衣机里”，DSR 需要根据检索到的图像将红毛巾运到洗衣机。这具有挑战性，因为正确的图像需要从成千上万的收集图像中检索出来，其中可能包含许多类似的毛巾和 appliance。为此，我们提出了 RelaX-Former，通过从正样本、未标记正样本和负样本中学习多样且鲁棒的表示来解决此问题。我们在包含真实室内图像和人工标注指令（包括复杂指代表达式）的数据集上评估了 RelaX-Former。实验结果表明，RelaX-Former 在标准图像检索指标上超越了现有的 baseline 模型。此外，我们在物理实验中使用 DSR 评估了该方法在零样本迁移设置下的性能。实验涉及 DSR 根据开放词汇指令将物品运输到特定容器，实现整体成功率为 75%。
引用
@article{arxiv.2412.16576,
title = {Open-Vocabulary Mobile Manipulation Based on Double Relaxed Contrastive Learning with Dense Labeling},
author = {Daichi Yashima and Ryosuke Korekata and Komei Sugiura},
journal= {arXiv preprint arXiv:2412.16576},
year = {2024}
}
备注
Accepted for IEEE RA-L 2025