在CLIP时代重新思考域适应与域泛化
计算机视觉与模式识别
2024-07-23 v1
摘要
在域适应的最近研究中， significant emphasis已被放在从源域学习共享知识以适应目标域的 advancement上。最近，大型视觉语言预训练模型，即CLIP，展示出在零样本识别方面的强大能力，而参数高效调优进一步提高其在特定任务上的性能。本工作表明，一个简单的域先验能够提升CLIP在特定域的零样本识别能力。此外，CLIP的适应性依赖于源域数据的比例较少，因为其预训练数据集具有多样性。我们创建了一个基于CLIP的零样本适应和基于伪标签的自训练基准。最后，我们提出改进CLIP在多个无标签域上的任务泛化能力，这是一种更实用且独特的情境。我们相信，这些发现激励我们重新思考域适应基准以及相关算法在CLIP时代中的作用。
引用
@article{arxiv.2407.15173,
title = {Rethinking Domain Adaptation and Generalization in the Era of CLIP},
author = {Ruoyu Feng and Tao Yu and Xin Jin and Xiaoyuan Yu and Lei Xiao and Zhibo Chen},
journal= {arXiv preprint arXiv:2407.15173},
year = {2024}
}