基于逆向对比注意力的可解释开放词汇指涉目标检测
计算机视觉与模式识别
2025-07-31 v2 人工智能
摘要
我们提出逆向对比注意力（Reverse Contrast Attention, RCA），这是一种无需重新训练即可增强视觉语言变换器中目标局部分辨的插件方法。RCA 通过抑制极端值并放大中等强度的注意力，从而让语义相关但不显著的 token 引导预测。我们在开放词汇指涉目标检测（OV-RefOD）任务上进行评估，引入 FitAP 指标，该指标基于 IoU 和框面积，无需依赖置信度。RCA 在 15 个开源视觉语言模型中的 11 个上提升 FitAP，提升幅度可达 。有效性与注意力锐化程度和融合时机相关；虽然晚期融合模型普遍受益，但诸如 等模型也能获得提升，指向其容量和解缔因素为关键。RCA 为多模态变换器提供了可解释性和性能提升。代码和数据集已提供于 https://github.com/earl-juanico/rca。
引用
@article{arxiv.2507.19891,
title = {Interpretable Open-Vocabulary Referring Object Detection with Reverse Contrast Attention},
author = {Drandreb Earl O. Juanico and Rowel O. Atienza and Jeffrey Kenneth Go},
journal= {arXiv preprint arXiv:2507.19891},
year = {2025}
}
备注
To be published in the ICCVW 2025 Proceedings