分类难度对深度学习权重矩阵谱的影响及其在早停中的应用
机器学习
2022-04-06 v2 机器学习
摘要
大量研究致力于解释深度学习的成功。随机矩阵理论(RMT)为此提供了新兴途径：对训练好的深度神经网络(DNN)中涉及的大型随机矩阵（如关于随机梯度下降算法的权重矩阵或Hessian矩阵）进行谱分析。为更全面地理解权重矩阵谱，我们在不同模块（如层、网络与数据集）的权重矩阵上进行了广泛实验。遵循\cite{martin2018implicit}的先前工作，我们将终态阶段的谱分为三种主要类型：轻尾(LT)、主体过渡期(BT)与重尾(HT)。这些不同类型，尤其是HT，隐式指示了DNN中的某种正则化。本文的一个主要贡献是，我们识别出分类问题的难度作为权重矩阵谱中出现重尾的驱动因素。分类难度越高，HT出现的概率越大。此外，分类难度可受数据集信噪比或分类问题复杂度（复杂特征、大量类别）影响。利用该发现，我们进一步提出一种谱准则以检测重尾的出现，并借此在不使用测试数据的情况下早停训练过程。此类早停的DNN具有避免过拟合与不必要额外训练的优点，同时保持高度可比的泛化能力。本文的发现已在若干神经网络中使用高斯合成数据与真实数据集（MNIST与CIFAR10）得到验证。
引用
@article{arxiv.2111.13331,
title = {Impact of classification difficulty on the weight matrices spectra in Deep Learning and application to early-stopping},
author = {Xuran Meng and Jianfeng Yao},
journal= {arXiv preprint arXiv:2111.13331},
year = {2022}
}