DPStyler:面向无源域泛化的动态提示词风格器
计算机视觉与模式识别
2024-07-16 v2
摘要
无源域泛化(Source-Free Domain Generalization, SFDG)旨在开发一种无需依赖任何源域即可适用于未见目标域的模型。SFDG 的研究主要建立在大规模视觉-语言模型的现有知识基础上,并利用预训练模型的联合视觉-语言空间来模拟跨域的风格迁移,从而消除对源域图像的依赖。然而,如何利用文本提示词高效地模拟丰富多样的风格,以及如何从编码器输出包含语义和风格信息的特征中提取对分类有用的域不变信息,都是值得改进的方向。本文提出了动态提示词风格器(Dynamic PromptStyler, DPStyler),包含风格生成和风格消除模块来解决这些问题。风格生成模块在每个训练 epoch 刷新所有风格,而风格消除模块则消除由输入风格引起的编码器输出特征的变异。此外,由于风格生成模块通过随机采样或风格混合生成风格词向量,使得模型对输入文本提示词敏感,我们引入了模型集成方法来缓解这种敏感性。大量实验表明,我们的框架在基准数据集上优于 SOTA 方法。
引用
@article{arxiv.2403.16697,
title = {DPStyler: Dynamic PromptStyler for Source-Free Domain Generalization},
author = {Yunlong Tang and Yuxuan Wan and Lei Qi and Xin Geng},
journal= {arXiv preprint arXiv:2403.16697},
year = {2024}
}
备注
Accepted by IEEE TMM