预训练数据的引入在无监督域适应中的重要作用
计算机视觉与模式识别
2025-06-19 v2
摘要
在深度学习中，使用预训练权重初始化模型已成为各类下游任务的事实标准做法。许多无监督域适应（UDA）方法通常采用在 ImageNet 上预训练的骨干网络，并致力于减小源域与目标域之间的差异。然而，预训练对适应过程的影响却鲜受关注。本研究从预训练这一新颖视角深入探究 UDA。我们首先通过分析适应过程中预训练数据域与源/目标域之间动态的分布差异，论证了预训练的影响。接着，我们揭示目标误差同样源于预训练，具体体现在以下两方面：1）经验上，目标误差来自适应过程中逐渐退化的预训练知识；2）理论上，误差界依赖于损失函数梯度的差异，即在目标域与预训练数据域上的梯度差异。针对这两个问题，我们将 UDA 重新定义为一个三域问题，即源域、目标域与预训练数据域；进而提出一种名为 TriDA 的新框架。我们通过将预训练数据引入适应过程，在常规 UDA 与无源 UDA 两种场景下均保持了预训练知识并改善了误差界。为提升效率，我们引入了预训练数据的筛选策略，并在适应阶段无法获取预训练数据时提供了基于合成图像的解决方案。值得注意的是，即便仅使用少量预训练或合成图像，TriDA 依然有效，且能无缝补充上述两类场景下的 UDA 方法，在多个基准上取得了最先进的性能。我们希望本工作能为更好地理解与应用域适应提供新的见解。
引用
@article{arxiv.2308.03097,
title = {Incorporating Pre-training Data Matters in Unsupervised Domain Adaptation},
author = {Yinsong Xu and Aidong Men and Yang Liu and Xiahai Zhuang and Qingchao Chen},
journal= {arXiv preprint arXiv:2308.03097},
year = {2025}
}