从 Fokker-Planck 到 Callan-Symanzik：训练过程中权重矩阵的演化
机器学习
2025-06-06 v2
摘要
神经网络在训练期间的动力学演化一直是一个极具吸引力的研究课题。统计物理系统中变量演化的一阶原理推导在用于概念性地描述训练动力学时已被证明是有用的，这在实践中意味着数值求解诸如 Fokker-Planck 方程等方程。模拟整个网络不可避免地会遇到维度灾难。在本文中，我们利用 Fokker-Planck 方程来模拟一个简单的 2 瓶颈层自编码器中瓶颈层单个权重矩阵的概率密度演化，并通过检查输出数据分布将理论演化与经验演化进行比较。我们还从已有的动力学方程中推导出了具有物理相关性的偏微分方程，如 Callan-Symanzik 方程和 Kardar-Parisi-Zhang 方程。
引用
@article{arxiv.2501.09659,
title = {Fokker-Planck to Callan-Symanzik: evolution of weight matrices under training},
author = {Wei Bu and Uri Kol and Ziming Liu},
journal= {arXiv preprint arXiv:2501.09659},
year = {2025}
}
备注
8 pages, 9 figures