前馈网络中的标度与重缩放对称性
机器学习
2023-06-28 v1 无序系统与神经网络
摘要
深度神经网络中的权重初始化对学习映射的收敛速度有强烈影响。近期研究表明，在随机初始化的情况下，随机权重与偏置的方差空间中会出现混沌/有序相变。实验随后表明，若神经网络在此类相变的临界线上的取值处进行初始化，则在训练速度方面可取得大幅改进。在本文中，我们给出证据表明，物理系统在临界处所展现的标度性质，同样存在于临界线上进行随机权重初始化的未训练前馈网络中。此外，我们提出了一种额外的数据重缩放对称性，它直接继承自临界处的标度对称性。
引用
@article{arxiv.2306.15015,
title = {Scaling and Resizing Symmetry in Feedforward Networks},
author = {Carlos Cardona},
journal= {arXiv preprint arXiv:2306.15015},
year = {2023}
}
备注
20 pages, 16 figures. Author's first paper on this topic. Comments and corrections are very welcome