通过视觉领域提示生成适应分布偏移

在本文中，我们旨在测试时使用少量无标签数据来适应模型以应对分布偏移。为了克服从有限数据中提取领域知识的挑战，利用预训练骨干网络和源域的相关信息至关重要。先前的研究未能利用具有强大分布外泛化能力的最新基础模型。此外，以领域为中心的设计在他们的工作中并不受青睐。而且，他们将源域建模过程和学习适应过程独立地分为不相交的训练阶段。在这项工作中，我们提出了一种基于基础模型预计算特征的方法。具体来说，我们构建了一个知识库来学习源域的可迁移知识。以少样本目标数据为条件，我们引入了一个领域提示生成器，将知识库浓缩为特定领域的提示。然后，该领域提示通过引导模块将视觉特征导向特定领域。此外，我们提出了领域感知对比损失，并采用元学习来促进领域知识提取。进行了大量实验来验证领域知识提取。所提出的方法在包括WILDS和DomainNet在内的5个大规模基准上优于先前的工作。