用于 RGB-D 显著性目标检测的跨模态差异交互网络
计算机视觉与模式识别
2021-08-05 v1
摘要
深度图的普及与推广为显著性目标检测（SOD）带来了新的生机与活力，大量 RGB-D SOD 算法被提出，主要集中于如何更好地融合来自 RGB 图像与深度图的跨模态特征。对于特征编码器中的跨模态交互，现有方法要么无差别地对待 RGB 与深度模态，要么仅习惯性地利用深度线索作为 RGB 分支的辅助信息。与之不同，我们重新思考两种模态的地位，并提出一种新颖的用于 RGB-D SOD 的跨模态差异交互网络（CDINet），其根据不同层的特征表示差异化地建模两种模态的依赖性。为此，设计了两个组件以实现有效的跨模态交互：1）RGB 诱导的细节增强（RDE）模块利用 RGB 模态在低级编码器阶段增强深度特征的细节。2）深度诱导的语义增强（DSE）模块在高级编码器阶段将深度特征的目标定位与内部一致性迁移至 RGB 分支。此外，我们还设计了密集解码重建（DDR）结构，通过组合多级编码器特征构建语义块以升级特征解码中的跳跃连接。在五个基准数据集上的大量实验表明，我们的网络在定量与定性上均优于 种最先进的方法。我们的代码公开于：https://rmcong.github.io/proj_CDINet.html。
引用
@article{arxiv.2108.01971,
title = {Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection},
author = {Chen Zhang and Runmin Cong and Qinwei Lin and Lin Ma and Feng Li and Yao Zhao and Sam Kwong},
journal= {arXiv preprint arXiv:2108.01971},
year = {2021}
}
备注
13 pages, 6 figures, Accepted by ACM MM 2021