MECPformer：基于多估计互补块与 CNN-Transformer 的弱监督语义分割方法
计算机视觉与模式识别
2023-03-21 v1
摘要
基于卷积神经网络（CNN）的弱监督语义分割初始种子总是突出最具判别性的区域，却无法识别全局目标信息。受益于捕获长程特征表示的优势，基于 transformer 的方法相继被提出。然而，我们观察到一个缺陷，无论基于 transformer 的优势如何。给定一个类别，基于 transformer 生成的初始种子可能侵入属于其他类别的区域。受上述问题的启发，我们设计了一种简单而有效的方法，采用多估计互补块（MECP）策略和自适应冲突模块（ACM），称为 MECPformer。给定一幅图像，我们在不同轮次以 MECP 策略处理它，网络挖掘并深度融合不同层级的语义信息。此外，ACM 自适应地移除冲突像素，并利用网络自训练能力挖掘潜在目标信息。无需额外技巧，我们的 MECPformer 在 PASCAL VOC 2012 上达到新的最先进 72.0% mIoU，在 MS COCO 2014 数据集上达到 42.4%。代码见 https://github.com/ChunmengLiu1/MECPformer。
引用
@article{arxiv.2303.10689,
title = {MECPformer: Multi-estimations Complementary Patch with CNN-Transformers for Weakly Supervised Semantic Segmentation},
author = {Chunmeng Liu and Guangyao Li and Yao Shen and Ruiqi Wang},
journal= {arXiv preprint arXiv:2303.10689},
year = {2023}
}