CDTrans：面向无监督域适应的跨域Transformer
计算机视觉与模式识别
2022-03-22 v4 机器学习
摘要
无监督域适应（UDA）旨在将从一个有标签源域学到的知识迁移到一个不同的无标签目标域。大多数现有UDA方法侧重于使用基于卷积神经网络（CNN）的框架从域级别或类别级别学习域不变特征表示。基于类别级别的UDA的一个基本问题是为目标域中的样本生成伪标签，这些伪标签通常过于嘈杂而难以实现准确的域对齐，不可避免地损害UDA性能。随着Transformer在各种任务中的成功，我们发现Transformer中的交叉注意力对噪声输入对具有鲁棒性，可实现更好的特征对齐，因此本文采用Transformer来解决这一具有挑战性的UDA任务。具体而言，为生成准确的输入对，我们设计了一种双向中心感知标注算法来为目标样本产生伪标签。结合伪标签，提出了一种权重共享的三分支Transformer框架，分别应用自注意力和交叉注意力进行源/目标特征学习和源-目标域对齐。这种设计显式地强制框架同时学习有判别力的域特定和域不变表示。所提方法被称为CDTrans（跨域Transformer），它提供了用纯Transformer方案解决UDA任务的首批尝试之一。实验表明，我们提出的方法在公开UDA数据集（如VisDA-2017和DomainNet）上取得了最佳性能。代码和模型可在https://github.com/CDTrans/CDTrans获取。
引用
@article{arxiv.2109.06165,
title = {CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation},
author = {Tongkun Xu and Weihua Chen and Pichao Wang and Fan Wang and Hao Li and Rong Jin},
journal= {arXiv preprint arXiv:2109.06165},
year = {2022}
}