面向协同显著目标检测的全局与局部协作学习
计算机视觉与模式识别
2022-04-20 v1
摘要
协同显著目标检测（CoSOD）的目标是发现包含两张或更多相关图像的查询组中共同出现的显著物体。因此，如何有效提取图像间对应关系是 CoSOD 任务的关键。本文提出一种全局与局部协作学习架构，包含全局对应关系建模（GCM）与局部对应关系建模（LCM），从全局与局部视角捕获不同图像间全面的跨图像对应关系。首先，我们将不同图像视为不同时间切片，使用 3D 卷积直观整合所有帧内特征，从而更充分地提取全局组语义。其次，我们设计成对相关性变换（PCT）来探索成对图像间的相似性对应，并组合多个局部成对对应以生成局部跨图像关系。第三，通过全局与局部对应聚合（GLA）模块整合 GCM 与 LCM 的跨图像关系，以挖掘更全面的跨图像协作线索。最后，帧内与帧间特征由帧内-帧间加权融合（AEWF）模块自适应整合，以学习协同显著性特征并预测协同显著性图。所提出的 GLNet 在三个主流 CoSOD 基准数据集上进行了评估，表明我们的模型在小型数据集（约 3k 图像）上训练仍优于在大型数据集（约 8k–200k 图像）上训练的十一种最先进竞争对手。
引用
@article{arxiv.2204.08917,
title = {Global-and-Local Collaborative Learning for Co-Salient Object Detection},
author = {Runmin Cong and Ning Yang and Chongyi Li and Huazhu Fu and Yao Zhao and Qingming Huang and Sam Kwong},
journal= {arXiv preprint arXiv:2204.08917},
year = {2022}
}
备注
Accepted by IEEE Transactions on Cybernetics 2022, project page: https://rmcong.github.io/proj_GLNet.html