选择、集成与适应：通过架构动物园推进多源无源域适应
机器学习
2025-08-20 v2
摘要
传统的多源无源域适应（MSFDA）假设每个源域提供一个源模型，且所有源模型采用统一架构。本文引入了Zoo-MSFDA，一种更通用的设置，允许每个源域提供具有不同架构的多个源模型的动物园。虽然它丰富了源知识，但Zoo-MSFDA有被次优/有害模型主导的风险。为解决此问题，我们从理论上分析了Zoo-MSFDA中的模型选择问题，并引入了两个原则：可迁移性原则和多样性原则。认识到衡量可迁移性的挑战，我们随后提出了一种新颖的无源无监督可迁移性估计（SUTE）。它能够在域偏移下评估和比较具有不同架构的多个源模型的可迁移性，而无需目标标签和源数据。基于上述内容，我们引入了一个选择、集成与适应（SEA）框架来处理Zoo-MSFDA，包括：1）基于所提原则和SUTE的源模型选择；2）基于SUTE估计的可迁移性的集成构建；3）集成模型的目标域适应。评估表明，我们的SEA框架配合引入的Zoo-MSFDA设置，显著提高了适应性能（例如，在DomainNet上提高了13.5%）。此外，我们的SUTE在可迁移性估计方面达到了最先进的性能。
引用
@article{arxiv.2403.01582,
title = {Selection, Ensemble, and Adaptation: Advancing Multi-Source-Free Domain Adaptation via Architecture Zoo},
author = {Jiangbo Pei and Ruizhe Li and Aidong Men and Yang Liu and Xiahai Zhuang and Qingchao Chen},
journal= {arXiv preprint arXiv:2403.01582},
year = {2025}
}