基于交换赋值的弱监督共训练语义分割
计算机视觉与模式识别
2024-07-11 v2
摘要
类别激活图（CAM）常用于弱监督语义分割（WSSS）生成伪标签。由于类别激活不完整或过度，现有研究常采用离线 CAM 细化，引入额外阶段或提出离线模块。这会导致单阶段方法优化困难并限制通用性。本研究旨在减少观察到的 CAM 不一致性和误差，以减轻对细化过程的依赖。我们提出一种集成引导 CAM 的端到端 WSSS 模型，其中我们的分割模型在同时优化 CAM 的过程中进行训练。我们的方法称为 Co-training with Swapping Assignments（CoSA），采用双流框架，其中一个子网络学习由另一个子网络生成的交换赋值。我们引入三项技术：i）基于软 perplexity 的正则化以惩罚不确定区域；ii）一种阈值搜索方法用于动态修订置信度阈值；iii）对抗分离以解决共存问题。CoSA 显示出卓越的性能，在 VOC 和 COCO 验证数据集上分别实现了 76.2\% 和 51.0\% 的 mIoU，显著超过现有基线。值得注意的是，CoSA 是首个单阶段方法，可超越包括额外监督在内的所有现有多阶段方法。代码可在 \url{https://github.com/youshyee/CoSA} 获得。
引用
@article{arxiv.2402.17891,
title = {Weakly Supervised Co-training with Swapping Assignments for Semantic Segmentation},
author = {Xinyu Yang and Hossein Rahmani and Sue Black and Bryan M. Williams},
journal= {arXiv preprint arXiv:2402.17891},
year = {2024}
}
备注
Accepted at ECCV24