ScanFormer：通过迭代扫描实现指涉表达式理解
计算机视觉与模式识别
2024-06-27 v1
摘要
指涉表达式理解（REC）旨在在图像中定位由自由形式自然语言描述指定的目标对象。虽然现有方法在性能上取得显著成果，但它们进行密集感知，包含与语言查询无关的冗余视觉区域，导致额外的计算开销。这启发我们探索：是否可以消除与语言无关的冗余视觉区域以提高模型效率？现有相关方法主要聚焦于基础视觉任务，在视觉语言领域的探索有限。为此，我们提出一种粗到细的迭代感知框架，称为 ScanFormer。它能够利用图像金字塔从上到下提取与语言相关的视觉块。在每一次迭代中， irrelevant 区域通过设计的可信度预测进行丢弃。此外，我们提出了一种用于加速推理的 discarded 区域选择策略。在 RefCOCO、RefCOCO+、RefCOCOg 和 ReferItGame 等广泛使用的数据集上的实验验证了我们方法的有效性，该方法在准确率和效率之间取得了良好平衡。
引用
@article{arxiv.2406.18048,
title = {ScanFormer: Referring Expression Comprehension by Iteratively Scanning},
author = {Wei Su and Peihan Miao and Huanzhang Dou and Xi Li},
journal= {arXiv preprint arXiv:2406.18048},
year = {2024}
}
备注
Accepted by CVPR2024