面向全卷积网络语义分割的特征自适应重组与重标定

全卷积网络（Fully Convolutional Networks）在图像语义分割中取得了令人瞩目的结果，且效率很高。这种效率源于其在单次前向传播中对多个体素进行分割的能力。因此，特征图中的单元与同位置的体素之间存在直接的空间对应关系。在卷积层中，卷积核跨越所有通道并从中提取信息。我们观察到，通过增加通道数随后进行压缩的线性特征图重组可增强其判别能力。此外，并非所有特征图对所要预测的类别具有同等相关性。为了学习通道间关系并重标定通道以抑制较不相关的通道，在卷积神经网络图像分类背景下提出了 Squeeze and Excitation 模块。然而，这并不适用于全卷积网络的分割，因为它们同时分割多个对象，因而特征图可能仅在某些位置包含相关信息。本文中，我们提出适用于全卷积网络语义分割的特征重组与空间自适应重标定模块——SegSE 模块。通过结合跨通道信息与空间相关性对特征图进行重标定。实验结果表明，重组与重标定改进了一个具有竞争力的基线的结果，并可推广到三个不同的问题：脑肿瘤分割、卒中半暗带估计和缺血性卒中病灶预后预测。所得结果在这三个应用中具有竞争力或优于当前最优方法。