混沌边缘:量子场论与深度神经网络
高能物理 - 理论
2022-01-27 v2 无序系统与神经网络
机器学习
机器学习
摘要
我们显式构造了对应于涵盖循环与前馈架构的一般深度神经网络类的量子场论。我们首先考虑作为作用量中主导鞍点的平均场论(MFT),并通过最大李雅普诺夫指数导出临界性条件。随后我们在深度 与宽度 之比的微扰展开中计算关联函数的圈修正,并发现其与被广泛研究的 矢量模型存在精确类比,其中权重初始化的方差扮演了 't Hooft 耦合的角色。特别地,我们计算了量化网络系综中典型性涨落的 修正,以及由有限宽度效应引起的次主导 修正。这些修正提供了对关联长度的修正,该长度控制着信息可透过网络传播的深度,从而设定了此类网络可通过梯度下降训练的规模。我们的分析为迅速涌现的 NN-QFT 对应提供了第一性原理方法,并为研究深度神经网络中的临界性开辟了若干有趣途径。
引用
@article{arxiv.2109.13247,
title = {The edge of chaos: quantum field theory and deep neural networks},
author = {Kevin T. Grosvenor and Ro Jefferson},
journal= {arXiv preprint arXiv:2109.13247},
year = {2022}
}
备注
Matches published version. Added appendix on NN-QFT dictionary. Various minor edits & improvements