敏捷的多源无域适应
计算机视觉与模式识别
2024-03-11 v1
摘要
在大型模型时代，高效利用预训练模型中的丰富知识已成为一个关键课题。本工作专注于在不访问源数据的情况下，自适应地利用多个源预训练模型中的知识到无标签的目标域。尽管这是一个具有实用价值的设置，但现有方法需要对每个源模型进行广泛的参数调整，当面对丰富的源域或更大的源模型时，这在计算上是昂贵的。为了应对这一挑战，我们提出了一种无需对源骨干网络进行参数调整的新方法。我们的技术贡献在于双层注意力集成（Bi-level ATtention ENsemble, Bi-ATEN）模块，该模块学习域内权重和域间集成权重，以实现实例特异性和域一致性之间的精细平衡。通过微调源瓶颈，我们在具有挑战性的 DomainNet 基准测试上实现了与最先进（SOTA）方法相当甚至更优的性能，而训练参数少于 3\%，吞吐量提高了 8 倍。此外，经过细微修改，所提出的模块可以轻松装备到现有方法中，并获得超过 4\% 的性能提升。代码可在 https://github.com/TL-UESTC/Bi-ATEN 获取。
引用
@article{arxiv.2403.05062,
title = {Agile Multi-Source-Free Domain Adaptation},
author = {Xinyao Li and Jingjing Li and Fengling Li and Lei Zhu and Ke Lu},
journal= {arXiv preprint arXiv:2403.05062},
year = {2024}
}
备注
Accepted to AAAI2024