ProSAM：基于概率提示增强SAM-based视觉参考分割鲁棒性
计算机视觉与模式识别
2025-08-05 v3
摘要
近期大型基础模型的发展推动了开放集图像分割任务的成功，该任务聚焦于分割超出预定义类别的物体。在各种提示类型（如点、框、文本和视觉参考）中，视觉参考分割尤为独特的灵活性和强大的零样本能力。最近，几种基于SAM的方法在该任务上取得了显著进展，通过自动生成提示来指导SAM。然而，这些方法常常在目标区域边界生成提示，由于提示编码器次优，导致不稳定和降低鲁棒性。在本工作中，我们引入了ProSAM，这是一种简单而有效的方法，旨�解决我们在现有基于SAM的视觉参考分割方法中识别出的稳定性挑战。通过学习变分提示编码器来预测多变量提示分布，ProSAM避免了生成位于不稳定区域的提示，克服了由不够稳健提示导致的不稳定性。我们的方法在Pascal-5和COCO-20数据集上 consistently 超过了最先进的方法，为视觉参考分割提供了更稳健的解决方案。
引用
@article{arxiv.2506.21835,
title = {ProSAM: Enhancing the Robustness of SAM-based Visual Reference Segmentation with Probabilistic Prompts},
author = {Xiaoqi Wang and Clint Sebastian and Wenbin He and Liu Ren},
journal= {arXiv preprint arXiv:2506.21835},
year = {2025}
}
备注
ICCV 2025