面向 CLIP 领域泛化的源模型协调与融合
计算机视觉与模式识别
2025-06-12 v1
摘要
基于 CLIP 的领域泛化旨在利用 CLIP 强大的零样本分类能力和多个源数据集来提升模型在未见领域上的泛化能力。现有方法通常跨多个源领域训练单一模型以捕获领域共享信息。然而，这一范式本质上存在两类冲突：1）样本冲突，源于源域中的噪声样本和极端域偏移；2）优化冲突，源于多源训练中的竞争和权衡。两者都阻碍泛化并导致次优解。近期研究表明，模型融合可有效缓解多目标优化的竞争并提升泛化性能。受这些发现的启发，我们提出了 HAM（Harmonizing and Merging），一种用于基于 CLIP 的领域泛化的新型源模型融合框架。在源模型的训练过程中，HAM 丰富源样本以消除冲突样本，并协调所有模型的更新方向。然后引入一种冗余感知的历史模型融合方法，以有效整合所有源模型的知识。HAM 全面整合源域信息，同时促进源模型间的相互增强，最终生成一个具有最优泛化能力的模型。在五个广泛使用的基准数据集上的大量实验证明了我们方法的有效性，达到了最先进的性能。
引用
@article{arxiv.2506.09446,
title = {Harmonizing and Merging Source Models for CLIP-based Domain Generalization},
author = {Yuhe Ding and Jian Liang and Bo Jiang and Zi Wang and Aihua Zheng and Bin Luo},
journal= {arXiv preprint arXiv:2506.09446},
year = {2025}
}