数据高效的CLIP驱动双分支网络用于无源无监督域适应
计算机视觉与模式识别
2024-10-29 v2
摘要
无源无监督域适应（SF-UDA）旨在将模型性能从有标签的源域迁移到无标签的目标域，而无需直接访问源域样本，从而解决关键的数据隐私问题。然而，现有的大多数SF-UDA方法假设有充足的源域样本可用，但由于数据标注成本高昂，这通常不切实际。为了解决有限源数据和隐私问题的双重挑战，我们引入了一种数据高效的、由CLIP驱动的双分支网络（CDBN）。该架构由一个跨域特征迁移分支和一个目标特定特征学习分支组成，利用高置信度的目标域样本来迁移源域类别的文本特征，同时学习目标特定的软提示。通过融合两个分支的输出，我们的方法不仅有效地将源域类别语义信息迁移到目标域，还减少了目标训练过程中噪声和域间隙的负面影响。此外，我们提出了一种由精确分类和多样性驱动的无监督优化策略，在保留从源域学到的分类能力的同时，在目标域生成更自信和多样化的预测。CDBN在七个数据集的31个迁移任务上，使用比现有方法少得多的源域样本，达到了接近最先进的性能。
引用
@article{arxiv.2410.15811,
title = {Data-Efficient CLIP-Powered Dual-Branch Networks for Source-Free Unsupervised Domain Adaptation},
author = {Yongguang Li and Yueqi Cao and Jindong Li and Qi Wang and Shengsheng Wang},
journal= {arXiv preprint arXiv:2410.15811},
year = {2024}
}
备注
This update includes: (1) language polishing for clarity and conciseness, (2) new CLIP zero-shot results in Office-31, and (3) expanded results in Table 8 with more random seeds to enhance reliability