基于跨模态调制与选择的 RGB-D 显著性目标检测
计算机视觉与模式识别
2020-07-15 v1
摘要
我们提出一种有效的方法，用于逐步整合并精炼 RGB-D 显著性目标检测 (SOD) 中的跨模态互补信息。所提出的网络主要解决两个具有挑战性的问题：1) 如何有效地整合来自 RGB 图像及其对应深度图的互补信息；2) 如何自适应地选择更具显著性相关的特征。首先，我们提出跨模态特征调制 (cmFM) 模块，以深度特征为先验来增强特征表示，该模块对 RGB-D 数据的互补关系进行建模。其次，我们提出自适应特征选择 (AFS) 模块，以选择显著性相关特征并抑制劣质特征。AFS 模块利用多模态空间特征融合，并考虑了通道特征的自模态与跨模态相互依赖关系。第三，我们采用显著性引导的位置-边缘注意力 (sg-PEA) 模块，以鼓励我们的网络更多地关注显著性相关区域。上述模块作为一个整体，称为 cmMS 块，以由粗到精的方式促进显著性特征的精炼。结合自底向上的推断，精炼后的显著性特征实现了准确且保边的 SOD。大量实验表明，我们的网络在六个流行的 RGB-D SOD 基准上优于 state-of-the-art 显著性检测器。
引用
@article{arxiv.2007.07051,
title = {RGB-D Salient Object Detection with Cross-Modality Modulation and Selection},
author = {Chongyi Li and Runmin Cong and Yongri Piao and Qianqian Xu and Chen Change Loy},
journal= {arXiv preprint arXiv:2007.07051},
year = {2020}
}
备注
ECCV2020