用于域适应的 Transformer 预训练
计算机视觉与模式识别
2021-12-21 v1
摘要
2021 年视觉域适应挑战赛要求提出无监督域适应方法，通过将源数据集获得的知识迁移到分布外目标数据集来提升模型性能。本文中，我们利用 BeiT [1] 并展示其从源数据集中捕获关键属性的能力，并以半监督方式将其应用于目标数据集。我们的方法能够超越当前最先进（SoTA）技术，并在 ViSDA 域适应挑战赛中以 56.29% 的 ACC 和 69.79% 的 AUROC 获得第一名。
引用
@article{arxiv.2112.09965,
title = {Pre-Training Transformers for Domain Adaptation},
author = {Burhan Ul Tayyab and Nicholas Chua},
journal= {arXiv preprint arXiv:2112.09965},
year = {2021}
}