用于 RGB-D 显著性检测的协同显著性与深度预测
计算机视觉与模式识别
2020-10-27 v2
摘要
当来自 RGB 通道的前/背景线索较弱时，RGB-D 相机提供的深度信息可用于分割显著物体。这促使了多个 RGB-D 显著性数据集和算法的开发，这些算法在训练和推理中均使用 RGB-D 数据的全部四个通道。遗憾的是，现有 RGB-D 显著性数据集规模较小，可能导致过拟合以及在多样场景中的泛化能力有限。本文提出一种用于 RGB-D 显著性检测的半监督系统，其可在无显著性真值的较小 RGB-D 显著性数据集上训练，同时有效联合使用带有显著性真值的大型 RGB 显著性数据集。为使我们的方法在 RGB-D 显著性数据集上泛化，采用了一种新颖的预测引导交叉细化模块，通过两个相应任务间的相互细化联合估计显著性和深度，并采用对抗学习方法。关键在于，我们的系统不需要 RGB-D 数据集的显著性真值，从而节省了人工标注的大量劳动力，且在推理时不需要深度数据，使该方法可用于仅有 RGB 数据可用的更广泛应用场景。在七个 RGB-D 数据集上的评估表明，即使在 RGB-D 数据集无显著性真值且推理时仅使用其 RGB 数据的情况下，我们的半监督系统在两个最大测试数据集上的表现也优于使用 RGB-D 数据集显著性真值训练、推理使用深度数据的最先进全监督 RGB-D 显著性检测方法。我们的方法在其他流行 RGB-D 显著性基准上也取得了可比的结果。
引用
@article{arxiv.2007.01711,
title = {Synergistic saliency and depth prediction for RGB-D saliency detection},
author = {Yue Wang and Yuke Li and James H. Elder and Huchuan Lu and Runmin Wu and Lu Zhang},
journal= {arXiv preprint arXiv:2007.01711},
year = {2020}
}