可调Leaky ReLU浅层神经网络优化景观中非线性动力学
最优化与控制
2025-10-30 v1 机器学习
动力系统
摘要
本文研究了使用均方误差损失和Leaky ReLU激活函数训练的浅层神经网络的非线性动力学。在高斯输入且层宽相等为k的条件下，(1)我们基于等价梯度次数建立了理论框架，适用于任何神经元数量k>=4，以检测由漏参数α变化引起的临界点的分支及其相关对称性。通常，我们的分析表明，在临界数0处，一种多模色散始终发生，与k无关。(2)作为副产品，我们进一步表明，这些分支是宽度无关的，仅在非负α时发生，且全局最小值在工程范围内α位于(0,1)内不会发生进一步的对称性破坏不稳定。本文给出一个k=5的具体例子，以说明该框架并展示所得分支及其对称性。
关键词
引用
@article{arxiv.2510.25060,
title = {Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU},
author = {Jingzhou Liu},
journal= {arXiv preprint arXiv:2510.25060},
year = {2025}
}