LPT：面向图像分类的长尾提示微调

对于长尾分类，大多数工作通常先在大规模数据集上预训练一个大模型，然后微调整个模型以适应长尾数据。尽管有前景，微调整个预训练模型往往计算成本高昂，且不同任务需部署不同模型，并因过拟合长尾数据的某些特征而削弱泛化能力。为缓解这些问题，我们提出一种有效的长尾提示微调（Long-tailed Prompt Tuning, LPT）方法用于长尾分类。LPT将若干可训练提示引入冻结的预训练模型以使其适应长尾数据。为获得更好效果，我们将提示分为两组：1）用于整个长尾数据集的共享提示，以学习通用特征并将预训练模型适配到目标域；2）组特定提示，用于聚集相似特征样本的类组特定特征，并赋予预训练模型判别能力。随后我们设计了两阶段训练范式来学习这些提示。阶段1中，我们通过监督提示微调训练共享提示，将预训练模型适配到所需长尾域。阶段2中，我们使用学习到的共享提示作为查询，从组特定提示集中为一组相似样本选择最佳匹配的小集合以挖掘这些相似样本的共同特征，然后通过双重采样策略和非对称GCL损失优化这些提示。仅微调少量提示而固定预训练模型，LPT可通过存储少量提示降低训练和部署成本，并享有预训练模型的强泛化能力。实验表明，在各种长尾基准上，仅用约1.1%的额外参数，LPT即可达到与先前整模型微调方法相当的性能，并对域偏移更具鲁棒性。