面向无监督跨域语义分割的难样本感知实例自适应自训练方法
计算机视觉与模式识别
2025-03-26 v2
摘要
标注训练数据与未标注测试数据之间的分歧是近期深度学习模型面临的重大挑战。无监督域适应（UDA）试图解决此类问题。近期工作表明自训练是一种强大的 UDA 方法。然而，现有方法难以在可扩展性与性能之间取得平衡。本文中，我们提出了一种用于语义分割任务上 UDA 的难样本感知实例自适应自训练框架。为有效提升伪标签的质量与多样性，我们开发了一种带有实例自适应选择器的新型伪标签生成策略。我们通过精心设计的难样本感知伪标签增强，利用图像间信息进一步丰富难类伪标签。此外，我们提出了区域自适应正则化以平滑伪标签区域并锐化非伪标签区域。对于非伪标签区域，还构建了一致性约束以在模型优化过程中引入更强的监督信号。我们的方法简洁高效，易于推广到其他 UDA 方法。在 GTA5 到 Cityscapes、SYNTHIA 到 Cityscapes 以及 Cityscapes 到 Oxford RobotCar 上的实验证明了我们的方法相较于最先进方法的优越性能。我们的代码可在 https://github.com/bupt-ai-cz/HIAST 获取。
引用
@article{arxiv.2302.06992,
title = {Hard-aware Instance Adaptive Self-training for Unsupervised Cross-domain Semantic Segmentation},
author = {Chuang Zhu and Kebin Liu and Wenqi Tang and Ke Mei and Jiaqi Zou and Tiejun Huang},
journal= {arXiv preprint arXiv:2302.06992},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2008.12197