为不可见对象实例分割适配 Segment Anything 模型
机器人学
2024-09-25 v1 计算机视觉与模式识别
摘要
不可见对象实例分割（UOIS）对于在非结构化环境中运行的自主机器人至关重要。先前方法需要针对大规模桌面数据集进行完全监督的预训练。本文提出 UOIS-SAM，一种针对 UOIS 任务的数据高效解决方案，利用 SAM 的高准确率和强大泛化能力。UOIS-SAM 集成两个关键组件：（i）基于热图的提示生成器（HPG），用于生成精确的前景预测的类别无关点提示；（ii）层次判别网络（HDNet），适配 SAM 的掩码解码器，缓解 SAM 基线引入的背景混淆和过度分割问题，尤其是在遮挡和纹理丰富对象的场景中。在 OCID、OSD 以及包括 PhoCAL 和 HouseCat6D 在内的多个光谱挑战数据集上的大量实验结果表明，即使仅使用前一种方法的 10% 训练样本，UOIS-SAM 在不可见对象分割方面实现了最先进的性能，凸显了其在各种桌面场景中的有效性和鲁棒性。
引用
@article{arxiv.2409.15481,
title = {Adapting Segment Anything Model for Unseen Object Instance Segmentation},
author = {Rui Cao and Chuanxin Song and Biqi Yang and Jiangliu Wang and Pheng-Ann Heng and Yun-Hui Liu},
journal= {arXiv preprint arXiv:2409.15481},
year = {2024}
}
备注
Submitted to ICRA 2025