通过表征、变换与补偿器提升弱监督图像分割性能
计算机视觉与模式识别
2023-09-06 v1
摘要
弱监督图像分割（WSIS）是计算机视觉中一项依赖图像级类别标签的关键任务。现有 WSIS 方法广泛采用多阶段训练流程以获得高质量伪掩码作为真值，从而取得了显著进展。然而，单阶段 WSIS 方法近年来因其简化训练流程的潜力而受到关注，尽管其常受限于低质量伪掩码而制约了实际应用。为解决该问题，我们提出一种新颖的单阶段 WSIS 方法，利用带有对比学习的孪生网络提升类激活图（CAMs）的质量并实现自精炼过程。我们的方法采用跨表征精炼方法，通过利用来自骨干网络的不同特征表征来扩展可靠目标区域。此外，我们引入跨变换正则化模块，为对比学习学习鲁棒的类原型并捕获全局上下文信息以反馈粗糙的 CAMs，从而提升 CAMs 的质量。我们最终的高质量 CAMs 被用作伪掩码以监督分割结果。在 PASCAL VOC 2012 数据集上的实验结果表明，我们的方法显著优于其他最先进的方法，在 PASCAL VOC 2012 验证集和测试集上分别取得了 67.2% 和 68.76% 的 mIoU。此外，我们的方法已扩展至弱监督目标定位任务，实验结果表明我们的方法持续取得极具竞争力的结果。
引用
@article{arxiv.2309.00871,
title = {Boosting Weakly-Supervised Image Segmentation via Representation, Transform, and Compensator},
author = {Chunyan Wang and Dong Zhang and Rui Yan},
journal= {arXiv preprint arXiv:2309.00871},
year = {2023}
}