平滑激活函数 MLP 中的涌现低秩训练动力学
机器学习
2026-02-09 v1 人工智能
摘要
最近的实证证据表明，大规模深度神经网络的训练动力学发生在低维子空间内。虽然这一发现启发了关于低秩训练、压缩和适应的新研究，但在非线性网络中对这些动力学的理论依据仍有限。%与深层线性设置进行比较。为填补这一空白，本文分析了在梯度下降（GD）下多层感知器（MLP）的学习动力学。我们证明，权重动力学在整个训练期间都集中于不变的低维子空间内。理论上，我们精确刻画了具有平滑非线性激活函数的两层网络的这些不变子空间，以此提供洞察。实验上，我们验证了这一现象超越了我们的理论假设的范围。基于这些见解，我们实证表明，存在一种低秩 MLP 参数化方案，当在适当的子空间内初始化时，可在各种分类任务上匹配完全参数化方案的分类性能。
引用
@article{arxiv.2602.06208,
title = {Emergent Low-Rank Training Dynamics in MLPs with Smooth Activations},
author = {Alec S. Xu and Can Yaras and Matthew Asato and Qing Qu and Laura Balzano},
journal= {arXiv preprint arXiv:2602.06208},
year = {2026}
}
备注
41 pages, 15 figures