用于RGB-D显著性目标检测的点感知交互与CNN诱导细化网络
计算机视觉与模式识别
2024-12-10 v2
摘要
通过融合RGB图像与深度图的互补信息，可提升显著性目标检测(SOD)在复杂困难场景中的能力。近年来，卷积神经网络(CNNs)在特征提取与跨模态交互中的重要作用已被充分挖掘，但在自模态与跨模态的全局长程依赖建模上仍显不足。为此，我们引入CNN辅助的Transformer架构，提出一种具有点感知交互与CNN诱导细化(PICR-Net)的新型RGB-D SOD网络。一方面，考虑到RGB模态与深度模态间的先验关联，设计了注意力触发的跨模态点感知交互(CmPI)模块，以位置约束探索不同模态间的特征交互。另一方面，为缓解Transformer天然带来的块效应与细节破坏问题，我们设计了CNN诱导细化(CNNR)单元用于内容细化与补充。在五个RGB-D SOD数据集上的大量实验表明，所提网络在定量与定性比较中均取得了具有竞争力的结果。
引用
@article{arxiv.2308.08930,
title = {Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection},
author = {Runmin Cong and Hongyu Liu and Chen Zhang and Wei Zhang and Feng Zheng and Ran Song and Sam Kwong},
journal= {arXiv preprint arXiv:2308.08930},
year = {2024}
}
备注
Accepted by ACM MM 2023