通过跨图像上下文信息的双流对比学习进行弱监督语义分割
计算机视觉与模式识别
2024-05-09 v1
摘要
弱监督语义分割（WSSS）旨在仅使用图像级标签学习语义分割模型。尽管对深度学习方法进行了十余年的密集研究，WSSS 与全监督语义分割之间仍存在显著的性能差距。当前大多数 WSSS 方法始终关注有限的单图像（像素级）信息，而忽略了有价值的图像间（语义级）信息。从这一视角出发，我们开发了一个名为 DSCNet 的新型端到端 WSSS 框架，并包含两项创新：i）提出像素级组对比与语义级图对比并将其引入 WSSS 框架；ii）设计了一种新颖的双流对比学习（DSCL）机制，以联合处理像素级与语义级上下文信息，从而获得更好的 WSSS 性能。具体而言，像素级组对比学习（PGCL）与语义级图对比学习（SGCL）任务构成了更全面的解决方案。在 PASCAL VOC 和 MS COCO 基准上的大量实验验证了 DSCNet 相对于 SOTA 方法和基线模型的优越性。
引用
@article{arxiv.2405.04913,
title = {Weakly-supervised Semantic Segmentation via Dual-stream Contrastive Learning of Cross-image Contextual Information},
author = {Qi Lai and Chi-Man Vong},
journal= {arXiv preprint arXiv:2405.04913},
year = {2024}
}