用于 RGB-D 显著性目标检测的多层级跨模态交互网络
计算机视觉与模式识别
2021-04-21 v2
摘要
具有丰富空间信息的深度线索已被证明有助于提升显著性目标检测（SOD），但深度质量直接影响后续 SOD 性能。然而，受其采集设备限制，不可避免地会获得一些低质量深度线索，从而抑制 SOD 性能。此外，现有方法倾向于以直接融合或简单融合模块结合 RGB 图像与深度线索，使其无法有效利用两源之间的复杂关联。而且，少有方法设计恰当模块充分融合多层级特征，导致跨层级特征交互不足。为解决这些问题，我们提出一种新颖的用于基于 RGB-D 的 SOD 的多层级跨模态交互网络（MCINet）。我们的 MCI-Net 包含两个关键组件：1）跨模态特征学习网络，用于学习 RGB 图像与深度线索的高层特征，有效挖掘两源间关联；2）多层级交互整合网络，整合多层级跨模态特征以提升 SOD 性能。在六个基准数据集上的大量实验表明，我们的 MCI-Net 优于 14 种最先进（state-of-the-art）方法，并验证了各组件的有效性。更重要的是，我们的 MCI-Net 在显著提升 SOD 性能的同时还具有更高的 FPS。
引用
@article{arxiv.2007.14352,
title = {Multi-level Cross-modal Interaction Network for RGB-D Salient Object Detection},
author = {Zhou Huang and Huai-Xin Chen and Tao Zhou and Yun-Zhi Yang and Bi-Yuan Liu},
journal= {arXiv preprint arXiv:2007.14352},
year = {2021}
}