E-CRF：用于缓解语义分割中边界所致类别权重混淆的嵌入式条件随机场
计算机视觉与模式识别
2023-02-14 v2
摘要
现代语义分割方法致力于以多种方式（如架构设计、注意力机制等）调整图像特征表示以提升分割性能。然而，几乎所有方法都忽视了分割模型中类别权重（分类层中）的特殊性。本文中，我们注意到倾向于共享大量相邻边界像素的类别其类别权重缺乏判别性，从而限制了性能。我们将此问题称为边界所致类别权重混淆（BCWC）。我们着手解决该问题，并提出一种名为嵌入式条件随机场（E-CRF）的新方法以缓解之。E-CRF 创新性地将 CRF 融合进 CNN 网络作为一个有机整体，以实现更有效的端到端优化。原因有二：其一，它利用 CRF 引导高层特征中像素间的消息传递，借助同属一个物体的内部像素来净化边界像素的特征表示；更重要的是，它使得在反向传播中从尺度和方向两方面优化类别权重成为可能。我们给出详细理论分析予以证明。此外，超像素被集成进 E-CRF，作为辅助以利用局部物体先验实现更可靠的消息传递。最终，我们所提方法在 ADE20K、Cityscapes 和 Pascal Context 数据集上取得了令人印象深刻的成果。
引用
@article{arxiv.2112.07106,
title = {E-CRF: Embedded Conditional Random Field for Boundary-caused Class Weights Confusion in Semantic Segmentation},
author = {Jie Zhu and Huabin Huang and Banghuai Li and Leye Wang},
journal= {arXiv preprint arXiv:2112.07106},
year = {2023}
}
备注
Accepted by ICLR2023. Camera-ready Version