用于 RGB-D 显著性目标检测及更广任务的孪生网络
计算机视觉与模式识别
2021-04-19 v2
摘要
现有 RGB-D 显著性目标检测（SOD）模型通常将 RGB 与深度视为独立信息，并为各自的特征提取设计单独网络。此类方案易受制于有限的训练数据量或对精心设计的训练过程的过度依赖。受 RGB 与深度模态在区分显著物体上实际呈现某种共性的观察启发，我们设计了一种新颖的联合学习与密集协同融合（JL-DCF）架构，通过共享的网络骨干（即孪生架构）从 RGB 与深度输入中学习。本文提出两个有效组件：联合学习（JL）与密集协同融合（DCF）。JL 模块通过孪生网络利用跨模态共性提供鲁棒的显著性特征学习，而 DCF 模块用于互补特征发现。使用五种流行指标的综合实验表明，所设计框架产生了具有良好泛化能力的鲁棒 RGB-D 显著性检测器。结果表明，JL-DCF 在七个具有挑战性的数据集上以平均约 2.0%（最大 F-measure）显著推进了最先进（SOTA）模型。此外，我们展示 JL-DCF 可轻易应用于其他相关多模态检测任务，包括 RGB-T（热红外）SOD 与视频 SOD，取得与最先进方法相当甚至更优的性能。我们还将 JL-DCF 关联到 RGB-D 语义分割领域，展示其在 RGB-D SOD 任务上超越若干语义分割模型的能力。这些事实进一步确认所提框架可为各类应用提供潜在解决方案，并对跨模态互补任务提供更多见解。
引用
@article{arxiv.2008.12134,
title = {Siamese Network for RGB-D Salient Object Detection and Beyond},
author = {Keren Fu and Deng-Ping Fan and Ge-Peng Ji and Qijun Zhao and Jianbing Shen and Ce Zhu},
journal= {arXiv preprint arXiv:2008.12134},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2004.08515