用于无监督域适应的域无关相互提示
人工智能
2024-03-06 v1
摘要
传统的无监督域适应（UDA）致力于最小化域间的分布差异，这忽略了利用数据中丰富的语义，且难以处理复杂的域偏移。一种有前景的技术是利用大规模预训练视觉 - 语言模型的知识进行更有指导性的适应。尽管已有一些尝试，但当前方法通常分别学习文本提示以嵌入源域和目标域的域语义，并在每个域内执行分类，限制了跨域知识迁移。此外，仅提示语言分支缺乏动态适应两种模态的灵活性。为了弥合这一差距，我们提出了域无关相互提示（DAMP），通过相互对齐视觉和文本嵌入来挖掘域不变语义。具体而言，利用图像上下文信息以域无关且实例条件化的方式提示语言分支。同时，基于域无关的文本提示施加视觉提示，以激发域不变的视觉嵌入。这两个提示分支通过交叉注意力模块相互学习，并通过语义一致性损失和实例判别对比损失进行正则化。在三个 UDA 基准上的实验证明了 DAMP 优于最先进的方法。
引用
@article{arxiv.2403.02899,
title = {Domain-Agnostic Mutual Prompting for Unsupervised Domain Adaptation},
author = {Zhekai Du and Xinyao Li and Fengling Li and Ke Lu and Lei Zhu and Jingjing Li},
journal= {arXiv preprint arXiv:2403.02899},
year = {2024}
}