利用引导训练改进跨域混合采样以实现自适应分割
计算机视觉与模式识别
2024-03-25 v1
摘要
无监督域适应（UDA）致力于将在源域上训练的模型调整至目标域上表现良好，而无需额外的标注。在解决密集预测 UDA 问题的域自适应语义分割中，其目标是规避昂贵的像素级标注需求。通常，各种主流基线方法依赖于通过跨域混合采样技术构建中间域，以缓解由域差距导致的性能下降。然而，此类方法生成的合成数据偏离了真实世界分布，可能导致模型偏离真实的目标分布。为应对这一挑战，我们提出了一种名为引导训练的新型辅助任务。该任务有助于有效利用跨域混合采样技术，同时缓解与真实世界的分布偏移。具体而言，引导训练引导模型从混合数据中提取并重建目标域特征分布，随后对重建的目标域特征进行解码以进行伪标签预测。重要的是，集成引导训练仅产生极小的训练开销，且不增加额外的推理负担。我们通过将其与现有方法集成证明了该方法的有效性，并持续提升了性能。实现代码将发布于 https://github.com/Wenlve-Zhou/Guidance-Training。
引用
@article{arxiv.2403.14995,
title = {Improve Cross-domain Mixed Sampling with Guidance Training for Adaptive Segmentation},
author = {Wenlve Zhou and Zhiheng Zhou and Tianlei Wang and Delu Zeng},
journal= {arXiv preprint arXiv:2403.14995},
year = {2024}
}