面向源自域适应的多基础模型协同学习
计算机视觉与模式识别
2025-11-25 v1 机器学习
摘要
源自域适应（SFDA）旨在在不访问源数据的情况下，将预训练的源模型适配到未标记的目标域。近期的基础模型（FMs）为利用外部语义知识指导SFDA提供了新的机会。然而，依赖单个FM往往不够，因为它倾向于偏向受限的语义覆盖，无法捕捉域迁移下的多样化语境线索。为克服这一限制，我们提出一种Collaborative Multi-foundation Adaptation（CoMA）框架，该框架联合利用两个具有互补特性的FMs（例如CLIP和BLIP）以捕捉全球语义和局部语境线索。具体而言，我们采用双向适应机制，以（1）在保持语义独特性的同时，将不同的FMs与目标模型对齐以进行任务适应，和（2）将FMs的互补知识传递给目标模型。为确保在mini-batch训练下实现稳定适应，我们引入分解互信息（DMI）， selectively增强真实依赖关系，同时抑制由于类覆盖不完整而产生的虚假依赖关系。大量实验表明，我们的方法在四个基准测试（包括Office-31、Office-Home、DomainNet-126和VisDA）上的封闭集设置下一致优于现有最先进的SFDA方法，同时在部分集和开放集变体中取得最佳结果。
引用
@article{arxiv.2511.19147,
title = {Collaborative Learning with Multiple Foundation Models for Source-Free Domain Adaptation},
author = {Huisoo Lee and Jisu Han and Hyunsouk Cho and Wonjun Hwang},
journal= {arXiv preprint arXiv:2511.19147},
year = {2025}
}
备注
15 pages, 8 figures