基于视觉的抓取验证的仿真到现实迁移
机器人学
2025-05-07 v1 计算机视觉与模式识别
摘要
成功抓取的验证是机器人操作的一个关键方面，尤其是在处理可变形物体时。依赖力和触觉传感器的传统方法常常难以应对可变形和非刚性物体。在这项工作中，我们提出了一种基于视觉的抓取验证方法，以确定机器人夹爪是否成功抓取了物体。我们的方法采用两阶段架构：首先，基于 YOLO 的物体检测模型用于检测和定位机器人的夹爪；然后，基于 ResNet 的分类器判断物体的存在与否。为了解决真实世界数据采集的局限性，我们引入了 HSR-GraspSynth，这是一个旨在模拟多样化抓取场景的合成数据集。此外，我们探索了将视觉问答能力作为零样本基线，并与我们的模型进行比较。实验结果表明，我们的方法在真实世界环境中实现了高准确率，并具有集成到抓取流程中的潜力。代码和数据集已在 https://github.com/pauamargant/HSR-GraspSynth 上公开。
引用
@article{arxiv.2505.03046,
title = {Sim2Real Transfer for Vision-Based Grasp Verification},
author = {Pau Amargant and Peter Hönig and Markus Vincze},
journal= {arXiv preprint arXiv:2505.03046},
year = {2025}
}
备注
Accepted at Austrian Robotics Workshop 2025