面向无监督域适应的基于提示的分布对齐

最近，尽管大型预训练视觉-语言模型（VLMs）在广泛的下游任务上取得了前所未有的成功，但现实世界的无监督域适应（UDA）问题仍未得到充分探索。因此，在本文中，我们首先通过实验证明，无监督训练的 VLMs 能够显著减小源域和目标域之间的分布差异，从而提高 UDA 的性能。然而，将此类模型直接部署到下游 UDA 任务上的一个主要挑战是提示工程，这需要对齐源域和目标域的领域知识，因为 UDA 的性能受到良好的域不变表示的严重影响。我们进一步提出了一种基于提示的分布对齐（PDA）方法，将领域知识纳入提示学习。具体而言，PDA 采用了双分支提示微调范式，即基础分支和对齐分支。基础分支专注于将与类相关的表示整合到提示中，确保不同类之间的区分。为了进一步减小域差异，对于对齐分支，我们为源域和目标域构建了特征库，并提出了图像引导的特征微调（IFT），使输入关注特征库，从而将自我增强和跨域特征有效整合到模型中。通过这种方式，这两个分支可以相互促进，以增强 VLMs 对 UDA 的适应能力。我们在三个基准上进行了大量实验，以证明我们提出的 PDA 实现了最先进的性能。代码可在 https://github.com/BaiShuanghao/Prompt-based-Distribution-Alignment 获取。