面向无监督域自适应的特征融合可迁移性感知 Transformer
计算机视觉与模式识别
2024-11-13 v1 人工智能
摘要
无监督域自适应 (UDA) 旨在利用从有标签源域学到的知识，提升在无标签目标域上的性能。虽然卷积神经网络 (CNN) 在以往的 UDA 方法中占主导地位，但近期研究显示将视觉 Transformer (ViT) 应用于此任务颇具前景。本研究提出了一种新颖的特征融合可迁移性感知 Transformer (FFTAT)，以增强 ViT 在 UDA 任务中的性能。我们的方法引入了两项关键创新：首先，我们引入判别器来评估补丁的可迁移性，生成可迁移性矩阵。将该矩阵融入自注意力机制，引导模型关注可迁移的补丁。其次，我们提出一种特征融合技术，在潜在空间融合嵌入，使每个嵌入能包含来自所有其他嵌入的信息，从而提升泛化能力。这两个组件协同工作，增强特征表征学习。在广泛使用的基准上的大量实验表明，我们的方法显著提升了 UDA 性能，达到了最先进 (SOTA) 结果。
引用
@article{arxiv.2411.07794,
title = {Feature Fusion Transferability Aware Transformer for Unsupervised Domain Adaptation},
author = {Xiaowei Yu and Zhe Huang and Zao Zhang},
journal= {arXiv preprint arXiv:2411.07794},
year = {2024}
}
备注
IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025