类级多分布表示对语义分割是必要的
计算机视觉与模式识别
2023-03-15 v1
摘要
现有方法侧重于利用类级特征来提升语义分割性能。如何刻画类内像素与类间像素的关系，是提取具有判别性的代表性类级特征的关键。本文首次引入通过多分布来描述类内变化。进而，提出多分布表示学习（\textbf{MDRL}）以增强语义分割的像素表示。同时，我们设计了一种类多分布一致性策略，以构建嵌入像素的判别性多分布表示。此外，我们提出了一种多分布语义聚合模块，将对应类的多分布进行聚合以增强像素语义信息。我们的方法可无缝集成到流行的分割框架FCN/PSPNet/CCNet中，并在ADE20K上取得5.61\%/1.75\%/0.75\%的mIoU提升。在Cityscapes、ADE20K数据集上的大量实验证明，我们的方法能带来显著的性能改进。
引用
@article{arxiv.2303.08029,
title = {Class-level Multiple Distributions Representation are Necessary for Semantic Segmentation},
author = {Jianjian Yin and Zhichao Zheng and Yanhui Gu and Junsheng Zhou and Yi Chen},
journal= {arXiv preprint arXiv:2303.08029},
year = {2023}
}