基于压缩注意力匹配的全域域适应
计算机视觉与模式识别
2023-08-31 v4
摘要
全域域适应（UniDA）旨在无任何标签集先验知识的情况下将知识从源域迁移到目标域。其挑战在于如何判断目标样本是否属于公共类别。主流方法基于样本特征进行判断，过度强调全局信息而忽略图像中最关键的局部对象，导致精度有限。为解决该问题，我们提出通用注意力匹配（UniAM）框架，利用视觉 transformer 中的自注意力机制捕获关键对象信息。该框架引入一种新颖的压缩注意力匹配（CAM）方法，通过压缩表示注意力来探索核心信息。此外，CAM 结合基于残差的度量以确定样本的公共性。利用该度量，UniAM 实现了域级和类别级的公共特征对齐（CFA）与目标类分离（TCS）。值得注意的是，UniAM 是首个直接利用视觉 transformer 中注意力进行分类任务的方法。大量实验表明，UniAM 在各种基准数据集上优于当前最先进的方法。
引用
@article{arxiv.2304.11862,
title = {Universal Domain Adaptation via Compressive Attention Matching},
author = {Didi Zhu and Yincuan Li and Junkun Yuan and Zexi Li and Kun Kuang and Chao Wu},
journal= {arXiv preprint arXiv:2304.11862},
year = {2023}
}