对角线性网络的精确动力学：通过动力学均值场理论统一分析
机器学习
2026-03-16 v2 无序系统与神经网络
机器学习
摘要
对角线性网络 (DLNs) 是一个可解释的模型，捕捉神经网络训练中的多种非平凡行为，如初始化相关解和增量学习。这些现象通常在孤立中研究，导致整体动力学理解不足。本文我们对 DLNs 在梯度流动力学中的各种现象进行统一分析。利用动力学均值场理论 (DMFT)，我们推导一个低维有效过程，捕捉高维梯度流动力学的渐近行为。分析该有效过程可获得 DLN 动力学的新见解，包括损失收敛速率及其与泛化的权衡，并系统再现许多先前观察到的现象。这些发现深化了对 DLNs 的理解，展示了 DMFT 方法在分析高维神经网络学习动力学中的有效性。
引用
@article{arxiv.2510.01930,
title = {Precise Dynamics of Diagonal Linear Networks: A Unifying Analysis by Dynamical Mean-Field Theory},
author = {Sota Nishiyama and Masaaki Imaizumi},
journal= {arXiv preprint arXiv:2510.01930},
year = {2026}
}
备注
48 pages, accepted at AISTATS 2026 (Spotlight)