统一语言驱动的零样本域适应
计算机视觉与模式识别
2024-04-11 v1
摘要
本文介绍了统一语言驱动的零样本域适应（ULDA），一种新颖的任务设置，使单个模型能够适应多样化的目标域，而无需显式的域ID知识。我们识别了现有语言驱动的零样本域适应任务中的约束，特别是对域ID和域特定模型的要求，这可能限制灵活性和可扩展性。为了克服这些问题，我们提出了一个新的ULDA框架，包括层次上下文对齐（HCA）、域一致表示学习（DCRL）和文本驱动校正器（TDR）。这些组件协同工作，在多个视觉层次上将模拟特征与目标文本对齐，保留不同区域表示之间的语义相关性，并分别校正模拟与真实目标视觉特征之间的偏差。我们广泛的实证评估表明，该框架在两种设置下都取得了有竞争力的性能，甚至超过了需要域ID的模型，展示了其优越性和泛化能力。所提出的方法不仅有效，而且保持了实用性和效率，因为在推理过程中没有引入额外的计算成本。我们的项目页面是 https://senqiaoyang.com/project/ULDA。
引用
@article{arxiv.2404.07155,
title = {Unified Language-driven Zero-shot Domain Adaptation},
author = {Senqiao Yang and Zhuotao Tian and Li Jiang and Jiaya Jia},
journal= {arXiv preprint arXiv:2404.07155},
year = {2024}
}
备注
Accepted by CVPR 2024