中文

利用反卷积网络学习 RGB-D 语义分割的共有与特有特征

计算机视觉与模式识别 2016-08-04 v1

摘要

本文研究室内图像的 RGB-D 语义分割问题。我们利用能够预测像素级类别标签的反卷积网络,并为多模态反卷积开发了一种新结构。我们提出了一种新颖的特征转换网络来连接卷积网络与反卷积网络。在特征转换网络中,我们通过发现两种模态间的共有特征来关联它们,同时通过发现模态特有特征来刻画每种模态。借助共有特征,我们不仅紧密关联了这两种模态,还允许它们相互借用特征以增强共享信息的表示。借助特有特征,我们捕获了仅在一种模态中可见的视觉模式。所提出的网络在 NYU depth dataset V1 和 V2 上取得了有竞争力的分割精度。

关键词

引用

@article{arxiv.1608.01082,
  title  = {Learning Common and Specific Features for RGB-D Semantic Segmentation with Deconvolutional Networks},
  author = {Jinghua Wang and Zhenhua Wang and Dacheng Tao and Simon See and Gang Wang},
  journal= {arXiv preprint arXiv:1608.01082},
  year   = {2016}
}

备注

ECCV 2016, 16 pages, 3 figures