SAMRefiner：驾驭Segment Anything模型的通用掩码细化
计算机视觉与模式识别
2025-03-18 v2
摘要
本文探索了一种主要方式来提高广泛预训练粗糙掩码的质量，使其能够作为分割模型可靠的训练数据，以减少标注成本。与先前针对特定模型或任务在封闭世界中量身定制的细化技术不同，我们提出了SAMRefiner，一种通用且高效的方法，通过适应SAM以应对掩码细化任务。我们模型的核心技术是噪声容忍的提示方案。具体而言，我们引入一种多提示挖掘策略，从初始粗糙掩码中挖掘出多样化的输入提示（即距离引导点、上下文感知弹性边界框和高斯式掩码），这些提示可以相互协作以缓解粗糙掩码缺陷的影响。特别考虑到SAM在语义分割中处理多对象案例的困难，我们引入一种拆分后合并（STM）管道。此外，我们通过引入额外的IoU适应步骤，将方法扩展为SAMRefiner++，以进一步提升通用SAMRefiner在目标数据集上的性能。该步骤是自我提升的，无需额外标注。该提议框架具有灵活性，可与现有的分割方法灵活合作。我们在广泛的基准测试上对掩码框架进行了评估，表明在不同设置下具有更好的准确性和效率。SAMRefiner具有显著潜力加速细化工具的演进。我们的代码可在https://github.com/linyq2117/SAMRefiner上获取。
引用
@article{arxiv.2502.06756,
title = {SAMRefiner: Taming Segment Anything Model for Universal Mask Refinement},
author = {Yuqi Lin and Hengjia Li and Wenqi Shao and Zheng Yang and Jun Zhao and Xiaofei He and Ping Luo and Kaipeng Zhang},
journal= {arXiv preprint arXiv:2502.06756},
year = {2025}
}
备注
Accepted to ICLR 2025