基于域注意力的基础模型精调方法

基础模型（Foundation Models，FMs）已在计算机视觉领域取得突破，使其能够有效地跨越不同域实现学习。然而，这些模型在域迁移情况下的表现仍有待探索。本文通过比较不同骨干网络架构，引入新颖的域注意力组件，利用与域相关的文本嵌入，研究了基础模型在零样态域适应中的潜力。我们提出了一种称为Domino（Domino）的域自适应归一化方法，显式地在精调过程中利用域嵌入，从而使模型具备域注意力。最终，Domino能够实现对各种未见域更具鲁棒性的计算机视觉模型。