DR-Tune：基于语义校准的分布正则化改进预训练视觉模型微调
计算机视觉与模式识别
2023-08-24 v1
摘要
在大规模基准上预训练的视觉模型编码了通用知识，并证明能为下游任务构建更强大的表征。大多数现有方法遵循微调范式，要么基于预训练模型初始化下游模型，要么对其正则化。前者在后续微调阶段无法保留知识，从而易于过拟合；后者对下游模型的权重或特征图施加强约束而未考虑语义漂移，常导致优化不足。为应对这些问题，我们提出一种新颖的微调框架，即带语义校准的分布正则化（DR-Tune）。它通过强制下游任务头在预训练特征分布上降低其分类误差来实施分布正则化，从而防止过拟合同时使下游编码器得到充分训练。此外，为缓解语义漂移的干扰，我们开发了语义校准（SC）模块以对齐预训练与下游特征分布的全局形状与类中心。在广泛使用图像分类数据集上的大量实验表明，DR-Tune 在与不同预训练策略下的多种骨干网络结合时一致地提升性能。代码见：https://github.com/weeknan/DR-Tune。
引用
@article{arxiv.2308.12058,
title = {DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration},
author = {Nan Zhou and Jiaxin Chen and Di Huang},
journal= {arXiv preprint arXiv:2308.12058},
year = {2023}
}
备注
Accepted by ICCV'2023