面向无源域适应的域特异性诱导Transformer
计算机视觉与模式识别
2023-08-29 v1
摘要
传统的域适应（DA）方法旨在学习域不变特征表示以提升目标域适应性能。然而，我们指出域特异性同样重要，因为域内训练的模型持有有益于适应的关键域特定属性。因此，我们提出构建一个统一模型框架，支持域特定因子与任务特定因子的解耦与学习。受视觉Transformer在若干多模态视觉问题中成功的启发，我们发现查询可用于提取域特定因子。据此，我们提出一种新颖的域特异性诱导Transformer（DSiT）框架，用于解耦并学习域特定与任务特定因子。为实现解耦，我们提出构造带有域特定信息的新型域代表性输入（DRI），以训练带有新型域令牌的域分类器。我们首次在面向隐私的无源设置中将视觉Transformer用于域适应，且我们的方法在单源、多源与多目标基准上均取得最先进性能。
关键词
引用
@article{arxiv.2308.14023,
title = {Domain-Specificity Inducing Transformers for Source-Free Domain Adaptation},
author = {Sunandini Sanyal and Ashish Ramayee Asokan and Suvaansh Bhambri and Akshay Kulkarni and Jogendra Nath Kundu and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2308.14023},
year = {2023}
}
备注
ICCV 2023. Project page: http://val.cds.iisc.ac.in/DSiT-SFDA