基于伪标签引导像素对比的数域自适应语义分割
计算机视觉与模式识别
2025-01-17 v1 机器学习
摘要
语义分割是理解图像的关键技术，但需要大量的像素级详细标注。获取此类标注在实际中成本较高。语义分割的无监督域适应（UDA）技术通过使用带标签的虚拟数据训练模型，并在无标签的真实数据上进行适应。一些最近的工作使用对比学习，这是一种强大的自监督学习方法，来帮助这一技术。然而，这些工作在利用对比学习时未考虑每个类别内特征的多样性，导致类别预测错误。我们分析了这些工作的局限性，并提出一种新框架，称为伪标签引导像素对比（PGPC），克服了前述方法的缺点。我们还研究了如何在不引入伪标签噪声的前提下，从目标图像中获取更多信息。我们在两个标准 UDA 基准上进行测试，显示其优于现有方法。具体而言，在基于 DAFormer 的 GTA5 到 Cityscapes 和 SYNTHIA 到 Cityscapes 任务中，我们分别实现了 5.1% 和 4.6% 的 mIoU 提升。此外，我们的方法可以提升其他 UDA 方法的性能，而不会增加模型复杂度。代码可在 https://github.com/embar111/pgpc 获取。
引用
@article{arxiv.2501.09040,
title = {Pseudolabel guided pixels contrast for domain adaptive semantic segmentation},
author = {Jianzi Xiang and Cailu Wan and Zhu Cao},
journal= {arXiv preprint arXiv:2501.09040},
year = {2025}
}
备注
24 pages, 5 figures. Code: https://github.com/embar111/pgpc