HODINet：用于RGB-D显著性目标检测的高阶差异交互网络
计算机视觉与模式识别
2023-07-04 v1 图像与视频处理
摘要
RGB-D显著性目标检测（SOD）旨在通过联合建模RGB与深度信息来检测显著区域。大多数RGB-D SOD方法采用同类骨干网络与融合模块，以相同方式学习多模态与多阶段特征。然而，这些特征对最终显著性结果的贡献各不相同，由此引发两个问题：1）如何建模RGB图像与深度图的差异特性；2）如何在不同阶段融合这些跨模态特征。本文提出一种用于RGB-D SOD的高阶差异交互网络（HODINet）。具体而言，我们首先分别采用基于transformer与基于CNN的架构作为骨干来编码RGB与深度特征。随后，精细提取高阶表示并将其嵌入空间与通道注意力中，以在不同阶段实现跨模态特征融合。特别地，我们设计了高阶空间融合（HOSF）模块与高阶通道融合（HOCF）模块，分别融合前两个阶段与后两个阶段的特征。此外，采用级联金字塔重建网络以自上而下的路径逐步解码融合特征。在七个广泛使用的数据集上进行了大量实验以证明所提方法的有效性。在四种评价指标下，我们相较于24种最先进（SOTA）方法取得了具有竞争力的性能。
引用
@article{arxiv.2307.00954,
title = {HODINet: High-Order Discrepant Interaction Network for RGB-D Salient Object Detection},
author = {Kang Yi and Jing Xu and Xiao Jin and Fu Guo and Yan-Feng Wu},
journal= {arXiv preprint arXiv:2307.00954},
year = {2023}
}