无源无监督域适配中双重迁移的关键设计选择
机器学习
2023-02-13 v1 计算机视觉与模式识别
摘要
微调与域适配已成为将深度学习模型高效迁移至新目标任务的有效策略。然而，在许多现实场景中目标域标签不可获取。这催生了无监督域适配（UDA）方法的发展，其仅使用无标签目标样本。此外，效率与隐私需求也可能阻止在适配阶段使用源域数据。这一被称为无源无监督域适配（SF-UDA）的挑战性设定，因其在现实应用中的潜力正受到研究人员与从业者的关注。本文中，我们通过跨越500个模型与74个域对的大规模实证研究，首次对SF-UDA中的主要设计选择进行了深入分析。我们指出归一化方法、预训练策略和骨干架构是最关键因素。基于我们的定量发现，我们提出了最佳应对SF-UDA场景的方案。此外，我们表明SF-UDA在标准基准与骨干架构之外同样具有竞争力，仅以一小部分数据与计算成本便达到与UDA相当的性能。为可复现起见，我们将完整实验结果和代码作为补充材料提供。
引用
@article{arxiv.2302.05379,
title = {Key Design Choices for Double-Transfer in Source-Free Unsupervised Domain Adaptation},
author = {Andrea Maracani and Raffaello Camoriano and Elisa Maiettini and Davide Talon and Lorenzo Rosasco and Lorenzo Natale},
journal= {arXiv preprint arXiv:2302.05379},
year = {2023}
}