具有信息传输层的多模态循环神经网络用于室内场景标注
计算机视觉与模式识别
2018-03-14 v1
摘要
本文提出一种称为多模态RNN的新方法，用于RGB-D场景语义分割。该方法针对给定两个输入源（RGB颜色通道与深度图）的图像像素分类进行了优化。它同时训练两个通过信息传输层交叉连接的循环神经网络（RNN），这些信息传输层被学习以自适应提取相关的跨模态特征。每个RNN模型从其自身的先前隐藏状态及来自其他RNN先前隐藏状态的迁移模式中学习表征；从而同时保留了模型特有特征与跨模态特征。我们利用四向2D-RNN的结构来建模2D输入图像中的短程与长程上下文信息。我们精心设计了多种基线以高效检验所提模型结构。我们在流行的RGB-D基准上测试了多模态RNN方法，并展示其如何显著优于先前方法且与其它SOTA工作取得有竞争力的结果。
引用
@article{arxiv.1803.04687,
title = {Multimodal Recurrent Neural Networks with Information Transfer Layers for Indoor Scene Labeling},
author = {Abrar H. Abdulnabi and Bing Shuai and Zhen Zuo and Lap-Pui Chau and Gang Wang},
journal= {arXiv preprint arXiv:1803.04687},
year = {2018}
}
备注
15 pages, 13 figures, IEEE TMM 2017