用于协同显著目标检测的判别性协同显著与背景挖掘 Transformer
计算机视觉与模式识别
2023-05-09 v2
摘要
以往大多数协同显著目标检测工作主要通过挖掘图像间的一致性关系来提取协同显著线索，而忽略了对背景区域的显式探索。本文中，我们提出了一种基于多个轻量多粒度关联模块的判别性协同显著与背景挖掘 Transformer 框架（DMT），以显式挖掘协同显著与背景信息并有效建模二者的判别性。具体而言，我们首先提出区域到区域关联模块，将图像间关系引入像素级分割特征，同时保持计算效率。随后，我们利用两类预定义 token，通过所提出的对比诱导像素到 token 关联与协同显著 token 到 token 关联模块来挖掘协同显著与背景信息。我们还设计了 token 引导的特征精炼模块，在所学 token 的指导下增强分割特征的判别性。我们对分割特征提取与 token 构建进行迭代互促。在三个基准数据集上的实验结果证明了我们所提方法的有效性。源代码见：https://github.com/dragonlee258079/DMT。
引用
@article{arxiv.2305.00514,
title = {Discriminative Co-Saliency and Background Mining Transformer for Co-Salient Object Detection},
author = {Long Li and Junwei Han and Ni Zhang and Nian Liu and Salman Khan and Hisham Cholakkal and Rao Muhammad Anwer and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2305.00514},
year = {2023}
}
备注
Accepted by CVPR 2023