探索用于语义分割的深度结构化模型中的上下文

Guosheng Lin; Chunhua Shen; Anton van den Hengel; Ian Reid

探索用于语义分割的深度结构化模型中的上下文

计算机视觉与模式识别 2017-05-03 v3

作者: Guosheng Lin , Chunhua Shen , Anton van den Hengel , Ian Reid

摘要

最先进的语义图像分割方法大多基于训练深度卷积神经网络(CNNs)。本工作提议利用上下文信息改进语义分割。特别地，我们探索深度CNNs中的“块-块”上下文和“块-背景”上下文。我们通过结合CNNs和条件随机场(CRFs)来公式化深度结构化模型，以学习图像区域间的块-块上下文。具体地说，我们公式化基于CNN的成对势函数以捕获相邻块之间的语义相关性。然后应用所提深度结构化模型的高效分段训练，以避免在反向传播过程中重复的昂贵CRF推断。为捕获块-背景上下文，我们展示具有传统多尺度图像输入和滑动金字塔池化的网络设计对提升性能非常有效。我们对提出的方法进行全面评估。我们在多个挑战性语义分割数据集上达到新的最先进性能，包括 $NYUDv2$ 、 $PASCAL$ - $VOC2012$ 、 $Cityscapes$ 、 $PASCAL$ - $Context$ 、 $SUN$ - $RGBD$ 、 $SIFT$ - $flow$ 和 $KITTI$ 数据集。特别地，我们在 $PASCAL$ - $VOC2012$ 数据集上报告了 $77.8$ 的交并比分数。

关键词

语义分割深度卷积神经网络上下文信息深度结构化模型条件随机场块-块上下文块-背景上下文

引用

@article{arxiv.1603.03183,
  title  = {Exploring Context with Deep Structured models for Semantic Segmentation},
  author = {Guosheng Lin and Chunhua Shen and Anton van den Hengel and Ian Reid},
  journal= {arXiv preprint arXiv:1603.03183},
  year   = {2017}
}

备注

16 pages. Accepted to IEEE T. Pattern Analysis & Machine Intelligence, 2017. Extended version of arXiv:1504.01013

探索用于语义分割的深度结构化模型中的上下文

摘要

关键词

引用

备注

相关论文