通过最优平移提高深度神经网络泛化能力
机器学习
2024-05-24 v1
摘要
最近的研究表明，神经网络的泛化能力与损失景观的锐度相关，平坦的最小值比锐利的最小值具有更好的泛化能力。本文提出一种新方法，称为\emph{最优平移} (optimum shifting)，该方法在保持相同训练损失值的前提下，将神经网络的参数从锐利的最小值移动到更平坦的最小值。我们的 метод基于以下观察：当神经网络的输入和输出固定时，网络中的矩阵乘法可视为欠确定线性方程组，这使得可以在解的空间中调整参数，而这只需通过求解约束优化问题即可实现。此外，我们引入一种实用的随机最优平移技术，利用神经崩塌理论以减少计算成本，并为最优平移提供更多的自由度。广泛的实验（包括分类和检测），在各种深度神经网络架构上使用基准数据集，都表明了我们方法的有效性。
引用
@article{arxiv.2405.14111,
title = {Improving Generalization of Deep Neural Networks by Optimum Shifting},
author = {Yuyan Zhou and Ye Li and Lei Feng and Sheng-Jun Huang},
journal= {arXiv preprint arXiv:2405.14111},
year = {2024}
}