AlignSeg：特征对齐的分割网络
计算机视觉与模式识别
2021-03-03 v2 图像与视频处理
摘要
基于不同卷积块或上下文嵌入进行特征聚合已被证明是增强语义分割特征表示的有效方式。然而，当前大多数主流网络架构往往忽略特征聚合过程中的错位问题，该问题由1)逐步下采样操作，以及2)无差别的上下文信息融合所导致。本文探究解决此类特征错位问题的原理，并创新性地提出特征对齐分割网络(AlignSeg)。AlignSeg包含两个主要模块，即对齐特征聚合(AlignFA)模块和对齐上下文建模(AlignCM)模块。首先，AlignFA采用简单的可学习插值策略来学习像素的变换偏移，可有效缓解多分辨率特征聚合引起的特征错位问题。其次，在获得上下文嵌入后，AlignCM使每个像素以自适应方式选择私有的定制上下文信息，使上下文嵌入更好地对齐以提供恰当引导。我们在Cityscapes和ADE20K上通过大量实验验证了AlignSeg网络的有效性，分别取得了82.6%和45.95%的新的最先进mIoU分数。我们的源代码将公开。
引用
@article{arxiv.2003.00872,
title = {AlignSeg: Feature-Aligned Segmentation Networks},
author = {Zilong Huang and Yunchao Wei and Xinggang Wang and Wenyu Liu and Thomas S. Huang and Humphrey Shi},
journal= {arXiv preprint arXiv:2003.00872},
year = {2021}
}
备注
Accepted by TPAMI 2021