一种用于鲁棒实时 RGB-D 显著性目标检测的单流网络
计算机视觉与模式识别
2020-07-16 v2
摘要
现有 RGB-D 显著性目标检测（SOD）方法集中于 RGB 流与深度流之间的跨模态融合，并未深入探究深度图本身的作用。本文设计了一种单流网络，直接利用深度图引导 RGB 与深度间的早期融合与中期融合，从而省去深度流的特征编码器，实现轻量且实时的模型。我们从两个角度巧妙利用深度信息：（1）为克服模态间巨大差异导致的不兼容问题，构建单流编码器实现早期融合，可充分利用 ImageNet 预训练骨干模型提取丰富且具判别力的特征。（2）设计一种新颖的深度增强双注意力模块（DEDA），高效为前景/背景分支提供空间滤波特征，使解码器最优地完成中期融合。此外，提出金字塔注意力特征提取模块（PAFE）以准确定位不同尺度物体。大量实验表明，所提模型在不同评价指标下优于多数 SOTA 方法。且该模型比当前最轻模型轻 55.5%，在处理 图像时以 32 FPS 实时速度运行。
引用
@article{arxiv.2007.06811,
title = {A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection},
author = {Xiaoqi Zhao and Lihe Zhang and Youwei Pang and Huchuan Lu and Lei Zhang},
journal= {arXiv preprint arXiv:2007.06811},
year = {2020}
}
备注
Accepted in ECCV2020. Code: https://github.com/Xiaoqi-Zhao-DLUT/DANet-RGBD-Saliency