使用局部注意力掩码的分割感知卷积网络
计算机视觉与模式识别
2017-08-16 v1
摘要
我们引入了一种将分割信息整合到卷积神经网络（CNN）中的方法。这抵消了 CNN 跨区域平滑信息的趋势，并提高了其空间精度。为了获取分割信息，我们建立了一个 CNN 来提供一个嵌入空间，在该空间中可以基于欧几里得距离估计区域共属关系。我们使用这些嵌入来计算相对于每个神经元位置的局部注意力掩码。我们将此类掩码纳入 CNN，并用一种“分割感知”的变体替换卷积操作，该变体允许神经元选择性地关注来自其自身区域的输入。我们将由此产生的网络称为分割感知 CNN，因为它根据局部分割线索在每个图像点调整其滤波器。我们在两个截然不同的密集预测任务上展示了我们方法的优点，这些任务涉及分类（语义分割）和回归（光流）。我们的结果表明，在语义分割中，我们可以匹配 DenseCRFs 的性能，同时速度更快、更简单；在光流中，我们获得了比不使用局部注意力掩码的网络明显更锐利的响应。在这两种情况下，分割感知卷积相对于强大的基线都产生了系统的改进。本工作的源代码可在 http://cs.cmu.edu/~aharley/segaware 在线获取。
引用
@article{arxiv.1708.04607,
title = {Segmentation-Aware Convolutional Networks Using Local Attention Masks},
author = {Adam W. Harley and Konstantinos G. Derpanis and Iasonas Kokkinos},
journal= {arXiv preprint arXiv:1708.04607},
year = {2017}
}