基于 Transformer 的域适应的安全自精炼方法
计算机视觉与模式识别
2022-04-19 v1 机器学习
摘要
无监督域适应(UDA)旨在利用富含标签的源域来解决相关无标签目标域上的任务。当源域与目标域之间存在较大域差距时，这是一个具有挑战性的问题。本文提出一种名为 SSRT（基于 Transformer 的域适应的安全自精炼，Safe Self-Refinement for Transformer-based domain adaptation）的新方案，从两方面带来改进。首先，受视觉 transformer 在各种视觉任务中成功的鼓舞，我们为 SSRT 配备 transformer 骨干网络。我们发现，视觉 transformer 与简单对抗适应相结合，在具有挑战性的 DomainNet 基准上超越了已报道最佳的基于卷积神经网络(CNN)的结果，展现出其强大的可迁移特征表示。其次，为降低模型崩溃风险并提升大差距域间知识迁移的有效性，我们提出一种安全自精炼策略。具体而言，SSRT 利用扰动目标域数据的预测来精炼模型。由于视觉 transformer 的模型容量大且此类困难任务中的预测可能含噪，设计了安全训练机制以自适应调整学习配置。在多个广泛测试的 UDA 基准上进行了充分评估，SSRT 一致取得最佳性能，包括在 Office-Home 上 85.43%、VisDA-2017 上 88.76% 以及 DomainNet 上 45.2%。
引用
@article{arxiv.2204.07683,
title = {Safe Self-Refinement for Transformer-based Domain Adaptation},
author = {Tao Sun and Cheng Lu and Tianshuo Zhang and Haibin Ling},
journal= {arXiv preprint arXiv:2204.07683},
year = {2022}
}
备注
To appear in CVPR 2022