GraspSAM：当 Segment Anything Model 遇见抓取检测
机器人学
2024-09-24 v2 系统与控制
系统与控制
摘要
抓取检测需要灵活处理各种形状的物体，同时不依赖于对物体的先验知识，还能提供直观的用户导向控制。本文引入 GraspSAM，这是一种针对提示驱动和类别无关抓取检测的 Segment Anything Model（SAM）的创新扩展。不同于以往方法常受限于小规模训练数据的局限，GraspSAM 利用 SAM 的大规模训练和提示分段能力，高效支持目标物体和类别无关抓取。通过利用适配器、可学习的 token 嵌入和轻量级修改解码器，GraspSAM 仅需最小程度的微调即可将对象分段和抓取预测集成到统一框架中。该模型在多个数据集上实现最先进（SOTA）性能，包括 Jacquard、Grasp-Anything 和 Grasp-Anything++。广泛的实验结果表明，GraspSAM 在处理不同类型的提示（如点、框和语言）方面具有灵活性，凸显了其在实际机器人应用中的鲁棒性和有效性。
引用
@article{arxiv.2409.12521,
title = {GraspSAM: When Segment Anything Model Meets Grasp Detection},
author = {Sangjun Noh and Jongwon Kim and Dongwoo Nam and Seunghyeok Back and Raeyoung Kang and Kyoobin Lee},
journal= {arXiv preprint arXiv:2409.12521},
year = {2024}
}
备注
6 pages (main), 1 page (references)