中文

兼收并蓄:面向无监督域自适应的领域导向 Transformer

计算机视觉与模式识别 2022-08-03 v1

摘要

关于无监督域自适应(UDA)的广泛研究推动了深度学习从有限的实验数据集部署到真实世界无约束领域。大多数 UDA 方法在公共嵌入空间中对齐特征,并应用共享分类器进行目标预测。然而,当领域差异较大时,完美对齐的特征空间可能不存在,这些方法存在两个局限。首先,由于缺乏目标标签监督,强制性的域对齐会损害目标域的可分辨性。其次,源监督分类器不可避免地偏向源数据,因此在目标域中可能表现不佳。为缓解这些问题,我们提出在两个关注不同领域的独立空间同时进行的特征对齐,并为每个空间创建专门为该领域定制的领域导向分类器。具体而言,我们设计了一个领域导向 Transformer(DOT),其具有两个独立的分类令牌以学习不同的领域导向表示,以及两个分类器以保留领域级可分辨性。理论上保证的基于对比的对齐和源引导伪标签精炼策略被用于挖掘域不变与域特定信息。综合实验验证了我们的方法在多个基准上达到了最先进水平(SOTA)。

关键词

引用

@article{arxiv.2208.01195,
  title  = {Making the Best of Both Worlds: A Domain-Oriented Transformer for Unsupervised Domain Adaptation},
  author = {Wenxuan Ma and Jinming Zhang and Shuang Li and Chi Harold Liu and Yulin Wang and Wei Li},
  journal= {arXiv preprint arXiv:2208.01195},
  year   = {2022}
}

备注

Accepted at ACMMM 2022