针对源自由跨域少样本学习中加剧注意力沉积问题的解决方法
计算机视觉与模式识别
2026-05-26 v1
摘要
视觉语言模型（VLMs）如CLIP展示出惊人的泛化能力，但其在跨域少样本学习（CDFSL）中的潜力尚未得到充分探索。在CDFSL场景中，模型需要将源域信息迁移到数据稀缺的目标域。虽然注意力沉积现象在VLMs中已被观察，但其在CDFSL情境中的作用尚未研究。本文发现了一个被前述工作忽视的关键问题：CDFSL中的标准目标域少样本微调显著加剧了注意力沉积问题，导致类别间判别性差。通过大量实验，我们将其解释为模型对域适应的捷径学习：为克服源域与目标域之间的巨大域间隙，模型倾向于将最初靠近目标域类别的标记（即简单标记）推得更靠近这些类别，从而加剧注意力沉积，浪费学习其他判别性但最初较远的标记（即困难标记）的能力。为此，我们提出一种新方法，根据标记与目标域类别的相关性在目标域微调期间动态重新加权标记，显式抑制模型对简单标记的依赖，增强对困难标记的学习，减少沉积标记并提高判别性。在四个基准数据集上的大量实验验证了我们方法的理念，展示了新的状态突破性能。我们的代码可在 https://github.com/shuaiyi308/TIR 获取。
引用
@article{arxiv.2605.25799,
title = {Addressing Exacerbated Attention Sink for Source-Free Cross-Domain Few-Shot Learning},
author = {Shuai Yi and Yixiong Zou and Yuhua Li and Ruixuan Li},
journal= {arXiv preprint arXiv:2605.25799},
year = {2026}
}
备注
Accepted by CVPR 2026