自适应随机特征正则化微调深度神经网络
机器学习
2024-03-18 v1 人工智能
计算机视觉与模式识别
摘要
虽然微调是训练深度神经网络的事实标准方法，但在使用小型目标数据集时，它仍然存在过拟合问题。先前的方法通过保持源数据集的知识或引入正则化项（如对比损失）来提高微调性能。然而，这些方法需要辅助源信息（例如源标签或数据集）或大量的额外计算。在本文中，我们提出了一种简单的方法，称为自适应随机特征正则化（AdaRand）。AdaRand帮助训练模型的特征提取器自适应地改变特征向量的分布，以用于下游分类任务，无需辅助源信息且计算成本合理。为此，AdaRand最小化特征向量与从类条件高斯分布中采样的随机参考向量之间的差距。此外，AdaRand动态更新条件分布，以遵循当前更新的特征提取器，并平衡特征空间中类之间的距离。我们的实验表明，AdaRand优于其他需要辅助源信息和大量计算成本的微调正则化方法。
引用
@article{arxiv.2403.10097,
title = {Adaptive Random Feature Regularization on Fine-tuning Deep Neural Networks},
author = {Shin'ya Yamaguchi and Sekitoshi Kanai and Kazuki Adachi and Daiki Chijiwa},
journal= {arXiv preprint arXiv:2403.10097},
year = {2024}
}
备注
Accepted to CVPR 2024