基于合成数据生成与渐进适应的零样本域自适应语义分割
计算机视觉与模式识别
2025-08-06 v1
摘要
深度学习语义分割模型取得了令人瞩目的成绩，但在处理训练数据与测试数据之间的分布迁移时仍受限。本文提出了 SDGPA（Synthetic Data Generation and Progressive Adaptation），一种解决零样本域自适应语义分割的方法，其中不具备目标图像，仅提供目标域风格的文本描述。为弥补目标域训练数据不足的困境，我们利用预训练的文本到图像扩散模型，生成通过将源域图像转换为目标风格来获得的训练图像。直接编辑源域图像会引入噪声，由于布局无法精确保持，损害分割效果。为解决合成数据中布局不准确的问题，我们提出一种方法，对源图像进行裁剪，分别编辑小块，然后重新拼接，从而有助于提高空间精度。鉴于源域和目标域之间的大范围差距，SDGPA 构建了一个增强的中间域，利用更易的适应子任务来实现对目标域的更稳定适应。此外，为减轻合成数据噪声的影响，我们设计了渐进式适应策略，确保整个训练过程中的稳健学习。大量实验表明，我们的方法在零样本语义分割中实现了最先进的性能。代码已公开：https://github.com/ROUJINN/SDGPA
引用
@article{arxiv.2508.03300,
title = {Zero Shot Domain Adaptive Semantic Segmentation by Synthetic Data Generation and Progressive Adaptation},
author = {Jun Luo and Zijing Zhao and Yang Liu},
journal= {arXiv preprint arXiv:2508.03300},
year = {2025}
}
备注
Accepted to IROS 2025