面向显著性目标检测的模态引导子网络
计算机视觉与模式识别
2021-10-26 v2
摘要
近期基于RGBD的显著性检测模型已引起研究关注。深度线索（如边界线索、表面法线、形状属性等）有助于在复杂场景中识别显著目标。然而，大多数RGBD网络在输入侧需要多模态数据，并通过双流设计分别馈送，这不可避免地带来了深度传感器与计算上的额外开销。为应对这些不便，本文提出一种名为模态引导子网络（MGSnet）的新型融合设计。其具有以下优越设计：1）我们的模型可同时处理RGB与RGBD数据，并在深度不可用时动态估计深度。考虑到深度预测网络的内在机制，我们提出从RGB输入估计伪几何图——本质上模拟多模态输入。2）我们的MGSnet用于RGB显著性目标检测（SOD）时可实现实时推理，且与其他RGB模型相比达到了最先进（state-of-the-art）性能。3）MGS灵活轻量的设计便于集成到RGBD双流模型中。所引入的融合设计实现了跨模态交互以促成进一步进展，且代价极小。
引用
@article{arxiv.2110.04904,
title = {Modality-Guided Subnetwork for Salient Object Detection},
author = {Zongwei Wu and Guillaume Allibert and Christophe Stolz and Chao Ma and Cédric Demonceaux},
journal= {arXiv preprint arXiv:2110.04904},
year = {2021}
}
备注
Accepted to 3DV 2021