SAMAug：面向 Segment Anything Model 的点提示增强
计算机视觉与模式识别
2024-03-20 v4 人工智能
摘要
本文提出 SAMAug，一种用于 Segment Anything Model（SAM）的新型视觉点增强方法，可提升交互式图像分割性能。SAMAug 生成增强的点提示，向 SAM 提供更多关于用户意图的信息。从初始点提示出发，SAM 产生初始掩码，随后送入我们提出的 SAMAug 以生成增强的点提示。通过纳入这些额外点，SAM 可基于增强点提示与初始提示生成增强的分割掩码，从而提升分割性能。我们使用四种不同的点增强策略进行了评估：随机采样、基于最大差异熵的采样、最大距离和显著性。在 COCO、Fundus、COVID QUEx 和 ISIC2018 数据集上的实验结果表明，SAMAug 能够提升 SAM 的分割结果，尤其是使用最大距离和显著性时。SAMAug 展示了视觉提示增强在计算机视觉中的潜力。SAMAug 的代码发布于 github.com/yhydhx/SAMAug。
引用
@article{arxiv.2307.01187,
title = {SAMAug: Point Prompt Augmentation for Segment Anything Model},
author = {Haixing Dai and Chong Ma and Zhiling Yan and Zhengliang Liu and Enze Shi and Yiwei Li and Peng Shu and Xiaozheng Wei and Lin Zhao and Zihao Wu and Fang Zeng and Dajiang Zhu and Wei Liu and Quanzheng Li and Lichao Sun and Shu Zhang Tianming Liu and Xiang Li},
journal= {arXiv preprint arXiv:2307.01187},
year = {2024}
}