语义引导的提示技术：通过提示增强源自由跨域少样本学习中的多样性
计算机视觉与模式识别
2024-12-03 v1 计算与语言
机器学习
摘要
源自由跨域少样本学习（CD-FSL）任务旨在利用最小样本将预训练模型迁移到目标域，消除对源域数据的需求。实现此目标需要模型具备鲁棒的泛化能力和强大的特征表示，这符合大规模预训练模型的特征。然而，大规模模型在跨域场景下因样本多样性有限而失去表征能力。本文利用语义模态提供的丰富多样性，通过 CLIP 模型引入文本模态以增强训练样本的多样性，同时提高模型的迁移效率。具体而言，我们提出了 SeGD-VPT 框架，分为两个阶段。第一个阶段通过为每个支持样本添加多样性提示来增加特征多样性，从而生成不同的输入并增强样本多样性。此外，我们利用类别的多样性描述指导语义意义上的多样性提示学习，提出随机组合和选择文本以增加文本多样性。 Additionally, deep prompt tuning 被引入以增强模型的迁移能力。在第一个阶段训练后，带有不同多样性提示的支持样本被输入 CLIP 主干网络以生成增强特征。在生成后，第二个阶段使用生成的特征训练分类器。广泛的实验结果表明，我们的方法在源域数据被利用的 SOTA 模型中表现相当，在源自由 CD-FSL 设置下取得最佳性能。
引用
@article{arxiv.2412.00767,
title = {Prompt as Free Lunch: Enhancing Diversity in Source-Free Cross-domain Few-shot Learning through Semantic-Guided Prompting},
author = {Linhai Zhuo and Zheng Wang and Yuqian Fu and Tianwen Qian},
journal= {arXiv preprint arXiv:2412.00767},
year = {2024}
}