Pro2SAM：用于弱监督目标局部化的网格点掩码提示
计算机视觉与模式识别
2025-05-09 v1
摘要
弱监督目标局部化（WSOL）旨在仅使用图像级标签对目标进行局部化，因此受到广泛关注，因为其在实际应用中的标注成本较低。当前研究主要关注 CNN 的 Class Activation Map（CAM）和 Transformer 的自注意力图来识别目标区域。然而，CAM 和自注意力图都无法在前景对象的像素级别上学习细粒度信息，这阻碍了 WSOL 的进一步发展。为了解决这一问题，我们初步利用 Segment Anything Model（SAM）的零样本泛化能力和细粒度分割能力来增强整个目标区域的激活。进一步为缓解单点提示下的语义歧义问题，本文提出一种创新的掩码提示网络（Pro2SAM）用于 WSOL 任务。首先，我们设计了 Global Token Transformer（GTFormer）生成粗糙的前景图作为灵活的掩码提示，其中 GTFormer 同时嵌入 patch token 和 novel global token 以学习前景语义。其次，我们将网格点作为稠密提示输入 SAM，以最大化前景掩码的概率，从而避免单一点/框提示导致的目标缺失。最后，我们提出一种像素级相似度度量来实现掩码提示到 SAM 的掩码匹配，其中得分最高的掩码被视为最终的局部化图。实验表明，所提出的 Pro2SAM 在 CUB-200-2011 和 ILSVRC 上实现了 state-of-the-art 的性能，分别达到 84.03% 和 66.85% 的 Top-1 Loc。
引用
@article{arxiv.2505.04905,
title = {Pro2SAM: Mask Prompt to SAM with Grid Points for Weakly Supervised Object Localization},
author = {Xi Yang and Songsong Duan and Nannan Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2505.04905},
year = {2025}
}
备注
Accepted by ECCV 2024