恢复源自由跨域少样本学习中丢失的文本层
人工智能
2026-03-06 v1
摘要
源自由跨域少样本学习（Source-Free Cross-Domain Few-Shot Learning, SF-CDFSL）聚焦于在目标域（如医学或卫星图像）中进行微调，仅限于有限的训练数据。CLIP 近期因其对下游任务的通用性显示出前景。当前研究表明 CLIP 的文本编码器更适用于跨域任务，但我们发现删除文本编码器的某些中间层后，能有效提升 SF-CDFSL 中的性能，这被称为 Lost Layers。本文深入探讨了这一现象以获得更深入的理解。我们发现，这些层的信息实际上是有益的，但视觉差距阻碍了其被充分利用，使这些层看起来是冗余的。基于这一理解，与当前仅简单删除这些层不同，我们提出了一种方法，在层级和编码器层面教会模型重新利用这些丢失层的信息，指导在域迁移下对视觉分支进行重新学习。我们的 метод有效解决了文本编码器中信息未被充分利用的问题。在 various settings、various backbones（CLIP、SigLip、PE-Core）以及 various tasks（4 个 CDFSL 数据集和 10 个 Meta-dataset 数据集）上的大规模实验表明，我们的方法有效。代码已公开于 https://github.com/zhenyuZ-HUST/CVPR26-VtT。
引用
@article{arxiv.2603.05235,
title = {Reclaiming Lost Text Layers for Source-Free Cross-Domain Few-Shot Learning},
author = {Zhenyu Zhang and Guangyao Chen and Yixiong Zou and Yuhua Li and Ruixuan Li},
journal= {arXiv preprint arXiv:2603.05235},
year = {2026}
}
备注
CVPR 2026