用于轻量级 RGB-D 显著性目标检测的中级融合
计算机视觉与模式识别
2022-11-23 v3
摘要
现有大多数轻量级 RGB-D 显著性目标检测（SOD）模型基于双流结构或单流结构。前者先使用两个子网络分别从 RGB 与深度图像提取单模态特征，再融合以用于 SOD。而后者直接从输入的 RGB-D 图像提取多模态特征，随后专注于利用跨层级互补信息。然而，基于双流结构的模型不可避免地需要更多参数，而基于单流结构的模型由于忽略模态差异无法很好利用跨模态互补信息。为解决这些问题，本文提出采用中级融合结构设计轻量级 RGB-D SOD 模型，其先使用两个子网络分别提取低层与中层单模态特征，再融合所提取的中层单模态特征以在后续子网络中提取相应的高层多模态特征。不同于现有模型，该结构可同时有效利用跨模态互补信息并显著减少网络参数。因此，设计了一种新颖的轻量级 SOD 模型，其包含用于有效捕获跨模态互补信息的信息感知多模态特征融合（IMFF）模块，以及用于以更少参数聚合不同阶段的特层面与决策层显著性信息的轻量级特征级与决策级特征融合（LFDF）模块。我们所提模型仅有 3.9M 参数并以 33 FPS 运行。在多个基准数据集上的实验结果验证了所提方法相对于一些最先进方法的有效性与优越性。
引用
@article{arxiv.2104.11543,
title = {Middle-level Fusion for Lightweight RGB-D Salient Object Detection},
author = {Nianchang Huang and Qiang Zhang and Jungong Han},
journal= {arXiv preprint arXiv:2104.11543},
year = {2022}
}
备注
11 pages, 6 figures