PromptStyler：用于无源域泛化的提示驱动风格生成
计算机视觉与模式识别
2023-08-16 v2 人工智能
计算与语言
机器学习
摘要
在联合视觉-语言空间中，文本特征（例如来自“a photo of a dog”）可有效表示其相关的图像特征（例如来自狗的照片）。此外，最近的一项研究证明了该联合空间的跨模态可迁移性现象。基于这些观察，我们提出 PromptStyler，它通过在联合空间中通过提示合成多样风格来模拟各种分布偏移，且不使用任何图像，以应对无源域泛化。所提方法通过学习风格词向量（对应伪词 S*）来生成多种风格特征（来自“a S* style of a”）。为确保所学风格不扭曲内容信息，我们强制风格-内容特征（来自“a S* style of a [class]”）在联合视觉-语言空间中位于其对应内容特征（来自“[class]”）附近。学习风格词向量后，我们使用合成的风格-内容特征训练线性分类器。PromptStyler 在 PACS、VLCS、OfficeHome 和 DomainNet 上达到了最先进水平，尽管其训练不需要任何图像。
引用
@article{arxiv.2307.15199,
title = {PromptStyler: Prompt-driven Style Generation for Source-free Domain Generalization},
author = {Junhyeong Cho and Gilhyun Nam and Sungyeon Kim and Hunmin Yang and Suha Kwak},
journal= {arXiv preprint arXiv:2307.15199},
year = {2023}
}
备注
Accepted to ICCV 2023, Project Page: https://promptstyler.github.io/