$\epsilon$-秩与楼梯现象：对神经网络训练动力学的新见解

Jiang Yang; Yuxiang Zhao; Quanhui Zhu

$\epsilon$-秩与楼梯现象：对神经网络训练动力学的新见解

机器学习 2025-07-21 v3 数值分析数值分析

作者: Jiang Yang , Yuxiang Zhao , Quanhui Zhu

摘要

理解深度神经网络 (DNN) 的训练动力学，尤其是它们如何从高维数据中演化出低维特征，仍是深度学习理论中的核心挑战。本文引入 $\epsilon$ -秩的概念，这是一种量化隐藏层神经元功能有效特征的新指标。通过对各种任务进行大量实验，我们观察到一个普遍的楼梯现象：在由标准随机梯度下降方法实现的训练过程中，损失函数的下降伴随着 $\epsilon$ -秩的增加并呈现楼梯模式。理论上，我们严格证明了损失下界与 $\epsilon$ -秩之间的负相关性，表明高 $\epsilon$ -秩对于显著降低损失至关重要。此外，数值证据显示，在相同的深度神经网络中，后续隐藏层的 $\epsilon$ -秩高于前一隐藏层的 $\epsilon$ -秩。基于这些观察，为消除楼梯现象，我们提出一种针对初始隐藏层的新型预训练策略，以提升终端隐藏层的 $\epsilon$ -秩。数值实验验证了其在 various 任务中减少训练时间和提高准确率方面的有效性。因此，新引入的 $\epsilon$ -秩概念是一个可计算的量，作为深度神经网络的内在有效度量特征，为理解神经网络训练动力学提供了新视角，并为在实际应用中设计高效训练策略提供了理论基础。

关键词

$\epsilon$-秩神经网络训练动力学楼梯现象损失降低隐藏层

引用

@article{arxiv.2412.05144,
  title  = {$\epsilon$-rank and the Staircase Phenomenon: New Insights into Neural Network Training Dynamics},
  author = {Jiang Yang and Yuxiang Zhao and Quanhui Zhu},
  journal= {arXiv preprint arXiv:2412.05144},
  year   = {2025}
}

$\epsilon$-秩与楼梯现象：对神经网络训练动力学的新见解

摘要

关键词

引用

相关论文