分步分布对齐引导的风格提示调优用于无源跨域小样本学习
计算机视觉与模式识别
2025-09-16 v2
摘要
现有的跨域小样本学习方法通过开发源域训练策略来增强模型可迁移性，但由于源数据和训练策略不可获取，面临大规模预训练模型的挑战。此外，为 CDFSL 微调大模型需要大量计算资源，限制了实用性。本文解决无源跨域小样本学习问题，即仅使用预训练模型和少量目标样本，在没有源数据或策略的情况下解决目标域中的小样本学习。为克服源数据不可获取的挑战，本文提出分步分布对齐引导的风格提示调优，通过预测分布优化隐式缩小域差距。StepSPT 提出风格提示将目标样本与期望分布对齐，并采用双阶段优化过程。在外部过程中，分步分布对齐策略将预测分布优化分解为多步对齐问题以调优风格提示。在内部过程中，使用标准交叉熵损失更新分类器。在五个数据集上的评估表明，StepSPT 优于现有的基于提示调优的方法和 SOTA。消融研究进一步验证了其有效性。代码将在 https://github.com/xuhuali-mxj/StepSPT 公开。
引用
@article{arxiv.2411.10070,
title = {Step-wise Distribution Alignment Guided Style Prompt Tuning for Source-free Cross-domain Few-shot Learning},
author = {Huali Xu and Li Liu and Tianpeng Liu and Shuaifeng Zhi and Shuzhou Sun and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2411.10070},
year = {2025}
}
备注
Accepted at IEEE TPAMI, 16 pages, 12 figures, 7 tables