面向弱监督语义分割的多粒度去噪与双向对齐方法
计算机视觉与模式识别
2023-06-07 v1
摘要
基于类激活图（CAMs）的弱监督语义分割（WSSS）模型相较于非基于 CAMs 的同类模型取得了令人满意的性能。然而，为保证 WSSS 任务可行，我们需要通过扩展 CAMs 中的种子来生成伪标签，这一过程复杂且耗时，从而阻碍了高效端到端（单阶段）WSSS 方法的设计。为应对上述困境，我们利用现成且易获取的显著图，在给定图像级类标签的情况下直接获得伪标签。然而，显著区域可能包含噪声标签且无法无缝贴合目标对象，并且显著图只能作为含单类对象的简单图像的伪标签近似。因此，使用这些简单图像训练得到的分割模型难以很好地泛化到含多类对象的复杂图像。为此，我们提出一种端到端的多粒度去噪与双向对齐（MDBA）模型，以缓解噪声标签与多类泛化问题。具体而言，我们提出在线噪声过滤与渐进式噪声检测模块，分别处理图像级与像素级噪声。此外，提出一种双向对齐机制，通过简单到复杂图像合成与复杂到简单对抗学习，缩小输入与输出空间上的数据分布差距。MDBA 在 PASCAL VOC 2012 数据集的验证集与测试集上分别达到 69.5% 和 70.2% 的 mIoU。源代码与模型已发布于 \url{https://github.com/NUST-Machine-Intelligence-Laboratory/MDBA}。
引用
@article{arxiv.2305.05154,
title = {Multi-Granularity Denoising and Bidirectional Alignment for Weakly Supervised Semantic Segmentation},
author = {Tao Chen and Yazhou Yao and Jinhui Tang},
journal= {arXiv preprint arXiv:2305.05154},
year = {2023}
}
备注
accepted by IEEE Transactions on Image Processing