RFBNet：用于 RGB-D 语义分割的带残差融合块深度多模态网络
计算机视觉与模式识别
2019-09-17 v2
摘要
RGB-D 语义分割方法 conventionally 使用两个独立的编码器从 RGB 和深度数据中提取特征。然而，缺乏一种有效的融合机制来桥接这些编码器，以充分利用来自多模态的互补信息。本文提出一种新颖的自下而上交互融合结构来建模编码器间的相互依赖关系。该结构引入一条交互流来互连编码器。交互流不仅逐步聚合来自编码器的模态特定特征，还为其计算互补特征。为实现该结构，本文提出残差融合块（RFB）来表述编码器间的相互依赖。RFB 由两个残差单元和一个带门机制的融合单元组成。它为模态特定编码器学习互补特征，并提取模态特定特征以及跨模态特征。基于 RFB，本文提出用于 RGB-D 语义分割的深度多模态网络 RFBNet。在两个数据集上的实验证明了建模相互依赖关系的有效性，且 RFBNet 达到了最先进的性能。
引用
@article{arxiv.1907.00135,
title = {RFBNet: Deep Multimodal Networks with Residual Fusion Blocks for RGB-D Semantic Segmentation},
author = {Liuyuan Deng and Ming Yang and Tianyi Li and Yuesheng He and Chunxiang Wang},
journal= {arXiv preprint arXiv:1907.00135},
year = {2019}
}