FD-Align：面向少样本学习中预训练模型微调的特征判别对齐
计算机视觉与模式识别
2023-11-20 v4
摘要
由于数据有限，现有从零训练的少样本学习方法无法取得满意性能。相比之下，如 CLIP 等大规模预训练模型展现出卓越的少样本与零样本能力。为提升预训练模型在下游任务上的性能，常需在下游数据上微调模型。然而，预训练模型的微调在分布偏移下会导致其泛化性下降，而少样本学习中样本数量有限使模型极易过拟合。因此，现有少样本学习微调方法主要聚焦于微调模型分类头或引入额外结构。本文中，我们引入一种称为特征判别对齐（FD-Align）的微调方法。我们的方法旨在通过保持伪特征在微调过程中的一致性来增强模型泛化性。大量实验结果验证了我们对 ID 与 OOD 任务方法的有效性。一旦微调，模型可无缝集成现有方法，带来性能提升。我们的代码见 https://github.com/skingorz/FD-Align。
引用
@article{arxiv.2310.15105,
title = {FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning},
author = {Kun Song and Huimin Ma and Bochao Zou and Huishuai Zhang and Weiran Huang},
journal= {arXiv preprint arXiv:2310.15105},
year = {2023}
}
备注
Accepted by NeurIPS 2023