小型日常物体的精确移动操作
机器人学
2025-10-14 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
许多日常移动操作任务需要与小物体进行精确交互，例如抓握旋钮以打开橱柜或按下电灯开关。在本文中，我们开发了基于视觉模型的伺服（SVM），这是一个闭环框架，使移动操作机器人能够完成涉及小物体操作的此类精确任务。SVM 使用最先进的视觉基础模型为视觉伺服生成 3D 目标，从而在未知环境中实现多样化任务。由于末端执行器的遮挡，直接这样做会失败。SVM 利用对末端执行器进行图像外绘的视觉模型来缓解这一问题，从而显著增强了目标定位。我们证明，在外绘方法的辅助下，开放词汇目标检测器可以作为 SVM 的即插即用模块来寻找语义目标（如旋钮），点追踪方法可以帮助 SVM 可靠地追踪由用户点击指示的交互位置。我们进行了一项大规模评估，涵盖 6 栋建筑中 10 个未知环境下的实验，包含 72 个不同的物体实例。SVM 在真实世界未知环境中操作未见物体时获得了 71% 的零样本成功率，以绝对值 42% 优于开环控制方法，并以绝对成功率 50% 优于基于 1000 多次演示训练的模仿学习基线。
引用
@article{arxiv.2502.13964,
title = {Precise Mobile Manipulation of Small Everyday Objects},
author = {Arjun Gupta and Rishik Sathua and Saurabh Gupta},
journal= {arXiv preprint arXiv:2502.13964},
year = {2025}
}
备注
Project webpage: https://arjung128.github.io/svm