论学习网络的权重动力学
机器学习
2024-05-03 v1 混沌动力学
摘要
神经网络已成为解决机器学习和人工智能中各种问题的广泛采用的工具。在本研究中，我们使用局部稳定性分析的数学框架来深入理解前馈神经网络的学习动力学。因此，我们推导了学习回归任务的三层网络学习动力学的切算子方程。该结果适用于任意数量的节点和任意选择的激活函数。将结果应用于学习回归任务的网络，我们通过数值方法研究了稳定性指标与最终训练损失之间的关系。尽管具体结果因初始条件和激活函数的不同选择而异，但我们证明，通过在训练过程中监测有限时间 Lyapunov 指数或协变 Lyapunov 向量，可以预测最终的训练损失。
引用
@article{arxiv.2405.00743,
title = {On the weight dynamics of learning networks},
author = {Nahal Sharafi and Christoph Martin and Sarah Hallerberg},
journal= {arXiv preprint arXiv:2405.00743},
year = {2024}
}