ReSeg：一种基于循环神经网络的语义分割模型
计算机视觉与模式识别
2016-05-25 v3 机器学习
摘要
我们提出一种结构化预测架构，其利用了卷积神经网络提取的局部通用特征以及循环神经网络 (RNN) 获取远距离依赖的能力。所提出的称为 ReSeg 的架构基于最近引入的用于图像分类的 ReNet 模型。我们修改并扩展它以执行更具挑战性的语义分割任务。每个 ReNet 层由四个 RNN 组成，它们在水平和垂直两个方向上扫描图像，对图像块或激活值进行编码，并提供相关的全局信息。此外，ReNet 层堆叠在预训练卷积层之上，受益于通用局部特征。上采样层跟随 ReNet 层以在最终预测中恢复原始图像分辨率。所提出的 ReSeg 架构高效、灵活，适用于多种语义分割任务。我们在几个广泛使用的语义分割数据集上评估 ReSeg：Weizmann Horse、Oxford Flower 和 CamVid；取得了最先进的性能。结果表明 ReSeg 可作为语义分割任务的合适架构，并可能在其他结构化预测问题中有进一步应用。源代码和模型超参数可在 https://github.com/fvisin/reseg 获取。
引用
@article{arxiv.1511.07053,
title = {ReSeg: A Recurrent Neural Network-based Model for Semantic Segmentation},
author = {Francesco Visin and Marco Ciccone and Adriana Romero and Kyle Kastner and Kyunghyun Cho and Yoshua Bengio and Matteo Matteucci and Aaron Courville},
journal= {arXiv preprint arXiv:1511.07053},
year = {2016}
}
备注
In CVPR Deep Vision Workshop, 2016