通过神经元追逐学习神经网络
机器学习
2025-09-16 v1 最优化与控制
机器学习
摘要
本文第一部分研究了在具有稀疏结构的 saddle 点附近的均匀神经网络的梯度流演化。这些 saddle 点的选择是基于前期关于均匀网络的工作所识别出的梯度流在逃离原点后遇到的第一个 saddle 点所激发的。结果表明，当在足够接近此类 saddle 点初始化时，梯度流会在 saddle 点附近保持一段相当长的时间，在此期间，范数较小的权重集保持较小但方向上收敛。此外，还对梯度下降在逃离这些 saddle 点后的行为作出了重要的经验观察。本文的第二部分基于这些结果，引入一种称为神经元追逐（Neuron Pursuit, NP）的用于训练深层神经网络的贪婪算法。它是一种交替进行的迭代过程，在网络扩张（通过添加 Carefully 选取的权重的神经元）和使用此增强网络最小化训练损失之间交替进行。通过数值实验验证了所提出算法的有效性。
引用
@article{arxiv.2509.12154,
title = {Learning Neural Networks by Neuron Pursuit},
author = {Akshay Kumar and Jarvis Haupt},
journal= {arXiv preprint arXiv:2509.12154},
year = {2025}
}