用于显著性检测的鲁棒RGB-D融合
计算机视觉与模式识别
2022-08-31 v2
摘要
高效利用多模态输入实现精准RGB-D显著性检测是备受关注的话题。多数现有工作借助跨模态交互融合RGB-D双流以增强中间特征。此过程中，可用深度质量欠佳这一实际方面尚未被充分考虑。本工作中，我们旨在实现对任意呈现为两种主要形式的低质量深度均鲁棒的RGB-D显著性检测：由噪声导致的不准确，以及与RGB的未对齐。为此，我们提出一种鲁棒RGB-D融合方法，其受益于(1)层-wise与(2)三齿空间注意力机制。一方面，层-wise注意力(LWA)依据深度精度学习RGB与深度特征早融合与晚融合间的权衡。另一方面，三齿空间注意力(TSA)从更宽空间上下文聚合特征以解决深度未对齐问题。所提LWA与TSA机制使我们能高效利用多模态输入进行显著性检测，同时对低质量深度保持鲁棒。在五个基准数据集上的实验表明，所提融合方法一致优于SOTA融合方案。
引用
@article{arxiv.2208.01762,
title = {Robust RGB-D Fusion for Saliency Detection},
author = {Zongwei Wu and Shriarulmozhivarman Gobichettipalayam and Brahim Tamadazte and Guillaume Allibert and Danda Pani Paudel and Cédric Demonceaux},
journal= {arXiv preprint arXiv:2208.01762},
year = {2022}
}
备注
Accepted to 3DV 2022