揭示优越范式：源自域适应与无监督域适应的比较研究
机器学习
2024-11-26 v1 人工智能
计算机视觉与模式识别
摘要
在域适应中，有两种主流范式：一种是利用源数据对分布进行对齐的无监督域适应 (UDA)，另一种是仅使用预训练源模型而不访问源数据的源自域适应 (SFDA)。评估 UDA 与 SFDA 的优劣是当前具有重要现实意义的问题。本研究通过预测编码理论和多个基准数据集的大量实验，证明 SFDA 在实际场景中通常优于 UDA。具体而言，SFDA 在时间效率、存储需求、目标学习目标、降低负迁移风险以及提高对过拟合鲁棒性方面具有优势。尤其在源域与目标域分布差异显著时，SFDA 能有效缓解负迁移。此外，我们提出一种新型数据-模型融合场景，其中数据共享方式不同（例如部分提供原始数据，另部分仅提供模型），传统 UDA 和 SFDA 方法未能充分发挥其潜能。为此，我们提出一种 novel 权重估计方法，有效整合可用源数据至多 SFDA (MSFDA) 方法，从而提升该场景下的模型性能。本工作对 UDA 与 SFDA 进行了彻底分析，并推进了跨越多样实际环境的模型适应。
引用
@article{arxiv.2411.15844,
title = {Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation},
author = {Fan Wang and Zhongyi Han and Xingbo Liu and Xin Gao and Yilong Yin},
journal= {arXiv preprint arXiv:2411.15844},
year = {2024}
}
备注
Under review