Gated-SCNN：用于语义分割的门控形状 CNN
计算机视觉与模式识别
2019-07-15 v1 机器学习
摘要
当前最先进的图像分割方法形成稠密图像表示，其中颜色、形状和纹理信息都在一个深度 CNN 内部一并处理。然而这可能并不理想，因为它们包含与识别相关的非常不同类型的信息。本文提出一种用于语义分割的双流 CNN 新架构，其将形状信息显式连接为独立处理分支，即形状流，与经典流并行处理信息。该架构的关键在于一种连接两流中间层的新类型门。具体地，我们使用经典流中的高层激活来门控形状流中的低层激活，有效去除噪声并帮助形状流仅专注于处理相关的边界相关信息。这使我们能为形状流使用非常浅的、在图像级分辨率上运行的架构。我们的实验表明，这带来了一种高度有效的架构，可在物体边界周围产生更锐利的预测，并显著提升对较细和较小物体的性能。我们的方法在 Cityscapes 基准上取得当前最优性能，无论在掩码（mIoU）还是边界（F-score）质量方面，较强基线分别提升 2% 与 4%。
引用
@article{arxiv.1907.05740,
title = {Gated-SCNN: Gated Shape CNNs for Semantic Segmentation},
author = {Towaki Takikawa and David Acuna and Varun Jampani and Sanja Fidler},
journal= {arXiv preprint arXiv:1907.05740},
year = {2019}
}
备注
Project Website: https://nv-tlabs.github.io/GSCNN/