中文

COCA:基于文本原型的分类器导向校准用于无源通用域自适应

计算机视觉与模式识别 2024-03-12 v2

摘要

通用域自适应(UniDA)旨在解决数据源之间的域偏移和类别偏移。近来,由于更严格的数据限制,研究者引入了无源通用域自适应(SF-UniDA)。SF-UniDA 方法在对目标域进行自适应时无需直接访问源样本。然而,现有 SF-UniDA 方法仍需大量标注源样本来训练源模型,导致显著的标注成本。为解决此问题,我们提出一种新颖的即插即用分类器导向校准(COCA)方法。COCA 利用文本原型,专为基于少样本学习结合视觉-语言模型(VLMs)的源模型设计。它赋予为闭集分类构建的 VLM 驱动的少样本学习器以未知感知能力,从而在 SF-UniDA 场景中区分常见类和未知类。关键在于,COCA 是基于 VLM 应对 SF-UniDA 挑战的新范式,其聚焦于分类器而非图像编码器优化。实验表明 COCA 优于最先进的 UniDA 和 SF-UniDA 模型。

关键词

引用

@article{arxiv.2308.10450,
  title  = {COCA: Classifier-Oriented Calibration via Textual Prototype for Source-Free Universal Domain Adaptation},
  author = {Xinghong Liu and Yi Zhou and Tao Zhou and Chun-Mei Feng and Ling Shao},
  journal= {arXiv preprint arXiv:2308.10450},
  year   = {2024}
}