语义关系增强的 CLIP 适配器用于领域自适应零样本学习
计算机视觉与模式识别
2025-10-28 v1 人工智能
摘要
数据标注成本的高昂促使研究在数据受限的场景中训练深度学习模型。然而，现有方法无法在跨域迁移和跨类别泛化之间取得平衡，导致对领域自适应零样本学习（DAZSL）的需求日益增长。虽然视觉语言模型（如 CLIP）在 DAZSL 领域具有内在优势，但当前研究未充分发挥其潜力。将 CLIP 应用于 DAZSL 面临两个核心挑战：由于缺乏语义关系指导，跨类别知识迁移效率低下；以及在目标域微调期间跨模态对齐性能下降。为此，我们提出了语义关系增强 CLIP（SRE-CLIP）适配器框架，集成语义关系结构损失和跨模态对齐保持策略。作为首个基于 CLIP 的 DAZSL 方法，SRE-CLIP 在 I2AwA 和 I2WebV 基准上实现了最先进的性能，显著优于现有方法。
关键词
引用
@article{arxiv.2510.21808,
title = {Semantic Relation-Enhanced CLIP Adapter for Domain Adaptive Zero-Shot Learning},
author = {Jiaao Yu and Mingjie Han and Jinkun Jiang and Junyu Dong and Tao Gong and Man Lan},
journal= {arXiv preprint arXiv:2510.21808},
year = {2025}
}
备注
5 pages