重新思考预训练网络在无源域适应中的作用
计算机视觉与模式识别
2023-08-28 v2 机器学习
摘要
无源域适应（SFDA）旨在将在一个完全标注的源域上训练的源模型适应到一个无标注的目标域。大规模数据预训练网络用于在源训练时初始化源模型，随后被丢弃。然而，源训练可能导致模型过拟合到源数据分布并丢失适用的目标域知识。我们提议将预训练网络整合到目标适应过程中，因为它具有对泛化重要的多样化特征，并提供了不同于源模型的特征与分类决策的另一视角。我们提议通过协同学习策略蒸馏有用的目标域信息，以改善用于微调源模型的目标伪标签质量。在 4 个基准数据集上的评估表明，我们提出的策略提升了适应性能，并且可成功与现有 SFDA 方法结合。在协同学习策略中利用具有更强表示学习能力的现代预训练网络进一步提升了性能。
引用
@article{arxiv.2212.07585,
title = {Rethinking the Role of Pre-Trained Networks in Source-Free Domain Adaptation},
author = {Wenyu Zhang and Li Shen and Chuan-Sheng Foo},
journal= {arXiv preprint arXiv:2212.07585},
year = {2023}
}
备注
Accepted to ICCV 2023