PromptTA：面向无源域泛化的提示驱动文本适配器
计算机视觉与模式识别
2024-09-24 v1 计算与语言
机器学习
摘要
无源域泛化（SFDG）应对的是在无法访问源域数据的情况下，将模型适应到未见目标域的挑战。为了应对这一具有挑战性的任务，近期 SFDG 的进展主要集中在利用诸如 CLIP 等视觉-语言模型的文本模态上。这些方法涉及基于从文本和学习到的提示中提取的多样风格特征开发可转移的线性分类器，或从域库中导出域统一的文本表示。然而，风格特征和域库在捕获全面域知识方面均存在局限性。在本工作中，我们提出了提示驱动文本适配器（PromptTA）方法，旨在更好地捕获风格特征的分布，并采用重采样以确保对域知识的充分覆盖。为了进一步利用这些丰富的域信息，我们引入了一个从这些风格特征中学习的文本适配器，以实现高效的域信息存储。在四个基准数据集上进行的大量实验表明，PromptTA 实现了 SOTA 性能。代码可在 https://github.com/zhanghr2001/PromptTA 获取。
引用
@article{arxiv.2409.14163,
title = {PromptTA: Prompt-driven Text Adapter for Source-free Domain Generalization},
author = {Haoran Zhang and Shuanghao Bai and Wanqi Zhou and Jingwen Fu and Badong Chen},
journal= {arXiv preprint arXiv:2409.14163},
year = {2024}
}