语义扩散网络用于语义分割

在语义分割中，对边界区域进行精确且准确的预测至关重要。然而，常用的卷积算子倾向于平滑和模糊局部细节线索，使得深度模型难以生成准确的边界预测。本文引入了一种算子级方法来增强语义边界感知，从而改善深度语义分割模型的预测。具体而言，我们首先将边界特征增强形式化为一个各向异性扩散过程。随后，我们提出了一种新颖的可学习方法，称为语义扩散网络（SDN），以近似该扩散过程，它包含一个参数化的语义差异卷积算子以及一个特征融合模块。我们的SDN旨在构建一个从原始特征到类间边界增强特征的可微映射。所提出的SDN是一个高效且灵活的模块，可以轻松嵌入现有的编码器-解码器分割模型中。大量实验表明，在具有挑战性的公开基准数据集上，我们的方法能够在多个典型且最先进的分割基线模型上实现一致的性能提升。代码即将发布。