使用随机矩阵理论检测深度神经网络在长期训练中的过拟合现象

在深度学习模型中进行无过拟合训练困难；检测过拟合同样困难。我们提出了一种新型随机矩阵理论方法，用于在没有训练或测试数据访问权限的情况下检测深度学习模型过拟合的开始。对于每个模型层，我们对每个权重矩阵元素进行随机化，$\mathbf{W} \to \mathbf{W}^{\mathrm{rand}}$，然后用马尔科夫斯坦-帕斯特尔分布拟合随机化经验谱分布，识别大型异常值，这些异常值违反了自平均性。我们称这些异常值为相关陷阱 (Correlation Traps)。在过拟合开始时，我们称为“反-grokking”阶段的长期训练中，相关陷阱会形成并增多，规模扩大，同时测试准确率下降而训练准确率保持较高。陷阱可能是良性的，也可能损害泛化能力；我们提供了一种通过将随机数据通过训练好的模型并评估输出 logits 的 JS 散度来区分它们的经验方法。我们的发现表明，反-grokking 是一种额外的 grokking 阶段，具有高训练准确率和降低测试准确率，结构上与通过其相关陷阱实现的 pre-grokking 存在本质区别。更广泛地说，我们发现一些基础规模的大语言模型也 exhibits 相同的相关陷阱，这表明可能存在有害的过拟合。