用于跨域少样本分类的自适应语义一致性
计算机视觉与模式识别
2024-09-19 v2
摘要
跨域少样本分类（CD-FSC）旨在利用少量样本识别新的目标类别，其假设源域与目标域之间存在域偏移。现有的最先进做法通常在源域上预训练，然后在少样本目标数据上微调以产生任务自适应表征。尽管取得了可喜进展，这些方法因数据稀缺而易过拟合有限的目标分布，并忽略了在源域中学习到的可迁移知识。为缓解该问题，我们提出了一种简单的即插即用自适应语义一致性（ASC）框架，通过在微调阶段保留源域迁移能力来提升跨域鲁棒性。具体而言，我们复用预训练阶段的源图像并设计自适应权重分配策略以突出与目标域相似的样本，从而聚合来自源域的富含目标相关知识。随后，应用语义一致性正则化来约束源模型与目标模型输出的源图像语义特征之间的一致性。以此方式，所提出的 ASC 实现了源域知识的显式迁移，防止模型过拟合目标域。在多个基准上的大量实验证明了所提 ASC 的有效性，且 ASC 相较基线提供了一致的提升。源代码发布于 https://github.com/luhc666/ASC-CDFSL。
引用
@article{arxiv.2308.00727,
title = {Adaptive Semantic Consistency for Cross-domain Few-shot Classification},
author = {Hengchu Lu and Yuanjie Shao and Xiang Wang and Changxin Gao},
journal= {arXiv preprint arXiv:2308.00727},
year = {2024}
}