用于RGB-D显著性目标检测的跨模态加权网络
计算机视觉与模式识别
2020-07-10 v1
摘要
深度图包含用于辅助显著性目标检测(SOD)的几何线索。本文提出一种新颖的跨模态加权(CMW)策略,以促进RGB与深度通道之间针对RGB-D SOD的全面交互。具体而言,开发了三个RGB-深度交互模块,分别命名为CMW-L、CMW-M和CMW-H,用于处理低层、中层和高层跨模态信息融合。这些模块利用深度到RGB加权(DW)和RGB到RGB加权(RW),以实现由不同网络块生成的特征层之间丰富的跨模态与跨尺度交互。为有效训练所提出的跨模态加权网络(CMWNet),我们设计了一个复合损失函数,用于汇总不同尺度下中间预测与真值之间的误差。借助这些新颖组件协同工作,CMWNet有效融合来自RGB与深度通道的信息,同时跨尺度探索目标定位与细节。充分评估表明,CMWNet在七个流行基准上持续优于15种最先进的RGB-D SOD方法。
引用
@article{arxiv.2007.04901,
title = {Cross-Modal Weighting Network for RGB-D Salient Object Detection},
author = {Gongyang Li and Zhi Liu and Linwei Ye and Yang Wang and Haibin Ling},
journal= {arXiv preprint arXiv:2007.04901},
year = {2020}
}
备注
Accepted in ECCV2020. Code: https://github.com/MathLee/CMWNet