保持特异性的RGB-D显著性检测
计算机视觉与模式识别
2022-01-11 v2
摘要
由于有效性及深度线索现已可便捷获取，基于RGB与深度图像的显著目标检测(SOD)吸引了越来越多研究兴趣。现有RGB-D SOD模型通常采用不同融合策略从两模态（即RGB与深度）学习共享表示，而极少方法显式考虑如何保持模态特异性特征。本研究提出一种称为SPNet（特异性保持网络）的新框架，通过挖掘共享信息与模态特异性属性（如特异性）来提升SOD性能。具体而言，我们采用两个模态特定网络与一个共享学习网络分别生成个体与共享显著性预测图。为在共享学习网络中有效融合跨模态特征，提出跨增强整合模块(CIM)，并将融合特征传递至下一层以整合跨层级信息。此外，为捕获丰富互补多模态信息以提升SOD性能，提出多模态特征聚合(MFA)模块，将各独立解码器的模态特定特征整合进共享解码器。通过跳跃连接，编码器与解码器层间的层级特征可得以充分结合。大量实验表明，我们的方法在六个流行RGB-D SOD与三个伪装目标检测基准上优于前沿方法。项目公开于：https://github.com/taozh2017/SPNet。
引用
@article{arxiv.2108.08162,
title = {Specificity-preserving RGB-D Saliency Detection},
author = {Tao Zhou and Deng-Ping Fan and Geng Chen and Yi Zhou and Huazhu Fu},
journal= {arXiv preprint arXiv:2108.08162},
year = {2022}
}
备注
This is an extensive version and has been accepted by Computational Visual Media