基于注意力的语义边界与非边界信息融合以改进语义分割
计算机视觉与模式识别
2021-08-09 v1
摘要
本文提出一种基于新颖融合方案的图像语义分割方法，该融合发生于深度卷积神经网络内部。我们方案的主要目标是探索物体边界信息以提升整体分割性能。不同于以往结合边界与分割特征、或利用边界信息正则化语义分割的工作，我们提出一种新颖方法，将边界信息嵌入分割之中。为此，我们的语义分割方法采用双流结构，并通过注意力门控相结合，形成端到端Y型模型。据我们所知，我们的工作是首个表明边界检测可通过语义融合门(注意力模型)融合从而改进语义分割的研究。我们在公开数据集上对所提方法进行了广泛评估。在与其它十二种最先进分割器在相同训练条件下比较后，我们发现所有数据集上均具竞争力结果。我们所提模型在CityScapes、CamVid与Pascal Context数据集上取得最佳mIoU，在Mapillary Vistas上取得次佳。
引用
@article{arxiv.2108.02840,
title = {Attention-based fusion of semantic boundary and non-boundary information to improve semantic segmentation},
author = {Jefferson Fontinele and Gabriel Lefundes and Luciano Oliveira},
journal= {arXiv preprint arXiv:2108.02840},
year = {2021}
}