PØDA：提示驱动的零样本域适应
计算机视觉与模式识别
2023-08-22 v3 机器学习
摘要
域适应在计算机视觉中已被广泛研究，但仍需在训练时访问目标图像，这在某些不常见条件下可能难以实现。本文提出“提示驱动的零样本域适应”任务，即仅使用目标域的自然语言一般性描述（即提示）来适应在源域上训练的模型。首先，我们利用预训练的对比视觉-语言模型 (CLIP) 优化源特征的仿射变换，将其导向目标文本嵌入，同时保留其内容与语义。为此，我们提出提示驱动实例归一化 (PIN)。其次，我们展示这些提示驱动的增强可用于语义分割的零样本域适应。实验表明，我们的方法在当前下游任务的多个数据集上显著优于基于 CLIP 的风格迁移基线，甚至超越单样本无监督域适应。在目标检测与图像分类上也观察到类似的提升。代码见 https://github.com/astra-vision/PODA。
引用
@article{arxiv.2212.03241,
title = {P{\O}DA: Prompt-driven Zero-shot Domain Adaptation},
author = {Mohammad Fahes and Tuan-Hung Vu and Andrei Bursuc and Patrick Pérez and Raoul de Charette},
journal= {arXiv preprint arXiv:2212.03241},
year = {2023}
}
备注
Accepted to ICCV 2023, Project Page: https://astra-vision.github.io/PODA/