利用无标注 RGB 图像提升 RGB-D 显著性检测
图像与视频处理
2022-01-04 v1 计算机视觉与模式识别
摘要
训练用于 RGB-D 显著目标检测（SOD）的深度模型通常需要大量标注的 RGB-D 图像。然而，RGB-D 数据不易获取，这限制了 RGB-D SOD 技术的发展。为缓解该问题，我们提出一种双半监督 RGB-D 显著目标检测网络（DS-Net），利用无标注 RGB 图像来提升 RGB-D 显著性检测。我们首先设计了一个深度解耦卷积神经网络（DDCNN），其包含深度估计分支与显著性检测分支。深度估计分支使用 RGB-D 图像训练，然后用于为所有无标注 RGB 图像估计伪深度图以形成配对数据。显著性检测分支用于融合 RGB 特征与深度特征以预测 RGB-D 显著性。随后，整个 DDCNN 被指定为教师-学生框架中的骨干网络用于半监督学习。此外，我们还对无标注数据的中间注意力与显著性图引入了一致性损失，以及对标注数据的有监督深度与显著性损失。在七个广泛使用的基准数据集上的实验结果表明，我们的 DDCNN 在定量与定性上均优于最先进的方法。我们还证明，即使使用带有伪深度图的 RGB 图像，我们的半监督 DS-Net 也能进一步提升性能。
引用
@article{arxiv.2201.00100,
title = {Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images},
author = {Xiaoqiang Wang and Lei Zhu and Siliang Tang and Huazhu Fu and Ping Li and Fei Wu and Yi Yang and Yueting Zhuang},
journal= {arXiv preprint arXiv:2201.00100},
year = {2022}
}
备注
Accepted by IEEE TIP