RefAM：用于零样本指代分割的注意力磁体
计算机视觉与模式识别
2026-02-06 v2
摘要
现有大多数指代分割方法仅通过微调或组合多个预训练模型来实现强大性能，这通常以额外的训练和架构修改为代价。同时，大规模生成扩散模型编码了丰富的语义信息，使其作为通用特征提取器具有吸引力。在本工作中，我们引入了一种新方法，直接利用扩散 Transformer 的特征（注意力分数）用于下游任务，既不需要架构修改也不需要额外训练。为系统评估这些特征，我们扩展了涵盖图像和视频的视觉-语言定位任务基准。我们的关键洞察是停用词充当注意力磁体：它们积累多余注意力，可以通过过滤来降低噪声。此外，我们识别出在深层出现的全局注意力汇 (GAS)，并表明它们可以被安全抑制或重定向至辅助 token，从而产生更清晰、更准确的定位图。我们进一步提出一种注意力重分配策略，其中附加的停用词将背景激活划分为更小的簇，产生更清晰、更局部的热力图。基于这些发现，我们开发了 RefAM，这是一个简单的免训练定位框架，结合了交叉注意力图、GAS 处理和重分配。在零样本指代图像和视频分割基准上，该方法取得了强大性能并在大多数数据集上超越先前方法，在无需微调、额外组件和复杂推理的情况下确立了新的 SOTA。
引用
@article{arxiv.2509.22650,
title = {RefAM: Attention Magnets for Zero-Shot Referral Segmentation},
author = {Anna Kukleva and Enis Simsar and Alessio Tonioni and Muhammad Ferjad Naeem and Federico Tombari and Jan Eric Lenssen and Bernt Schiele},
journal= {arXiv preprint arXiv:2509.22650},
year = {2026}
}
备注
Project Page: https://refam-diffusion.github.io/