用于语义分割的去噪非局部神经网络
计算机视觉与模式识别
2021-10-28 v1
摘要
非局部网络已成为一种广泛使用的语义分割技术，其通过计算注意力图来度量每个像素对之间的关系。然而，当前大多数流行的非局部模型往往忽略这样一种现象：计算得到的注意力图显得非常嘈杂，包含类间和类内不一致性，这降低了非局部方法的准确性与可靠性。在本文中，我们将这些不一致性形象地称为注意力噪声，并探索对其进行去噪的解决方案。具体而言，我们创新性地提出了一种去噪非局部网络（Denoised NL），其由两个主要模块组成，即全局校正（GR）块与局部保留（LR）块，分别用于消除类间与类内噪声。首先，GR采用类别级预测来捕获二值图，以区分所选两个像素是否属于同一类别。其次，LR捕获被忽略的局部依赖关系，并进一步利用它们来校正注意力图中不需要的空洞。在两个具有挑战性的语义分割数据集上的实验结果表明了我们的模型的优越性能。在没有任何外部训练数据的情况下，我们提出的去噪非局部网络在 Cityscapes 和 ADE20K 上分别取得了 83.5% 和 46.69% mIoU 的 SOTA 性能。
引用
@article{arxiv.2110.14200,
title = {Denoised Non-Local Neural Network for Semantic Segmentation},
author = {Qi Song and Jie Li and Hao Guo and Rui Huang},
journal= {arXiv preprint arXiv:2110.14200},
year = {2021}
}
备注
submitted to IEEE Transactions on Neural Networks and Learning Systems (TNNLS)