学习选择性互注意力与对比用于RGB-D显著性检测
计算机视觉与模式识别
2020-10-13 v1
摘要
如何有效融合跨模态信息是RGB-D显著性目标检测的关键问题。早期融合和结果融合方案分别在输入和输出阶段融合RGB与深度信息，因此引发分布差异或信息丢失问题。许多模型使用特征融合策略但受限于低阶点对点融合方法。本文提出一种新颖的互注意力模型，通过融合来自不同模态的注意力与上下文。我们利用一个模态的非局部注意力来为另一模态传播长程上下文依赖，从而借助互补注意力线索执行高阶三线性跨模态交互。我们还提出从互注意力推导对比推理并获得统一模型。考虑到低质量深度数据可能损害模型性能，我们进一步提出选择性注意力对增加的深度线索进行重加权。我们将所提模块嵌入用于RGB-D SOD的双流CNN中。实验结果证明了我们所提模型的有效性。此外，我们还构建了一个高质量的新型具挑战性的大规模RGB-D SOD数据集，从而可同时促进深度模型的训练与评估。
引用
@article{arxiv.2010.05537,
title = {Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection},
author = {Nian Liu and Ni Zhang and Ling Shao and Junwei Han},
journal= {arXiv preprint arXiv:2010.05537},
year = {2020}
}
备注
Journal extension of our CVPR paper entitled "Learning Selective Self-Mutual Attention for RGB-D Saliency Detection" appeared in CVPR 2020