深度神经网络的临界组织与 p 广义统计场论
机器学习
2026-05-26 v2
摘要
我们严格研究了深度神经网络 (DNN) 和循环神经网络 (RNN) 的热力学极限，假设激活函数为 sigmoid 函数。热力学极限是指神经元在连续空间中形成、具有无限多个点的连续神经网络。我们证明，此类网络在参数空间的某一区域内仅存在一个唯一状态，该状态对参数连续依赖。当参数超出该区域时，该状态分解为无数多个状态。临界组织是指参数空间中从唯一状态过渡到无数多个状态的分岔点。我们使用 p 广义整数对层次结构进行编码。事实上，我们提出了一种算法，将 DNN 和 RNN 中使用的层次拓扑重新表述为 p 广义树状结构。在此框架下，层次组织与临界组织相互关联。我们严格研究了一个玩具模型的临界组织，该模型是基于 p 广义细胞神经网络的用于灰度图像的层次边缘检测器。该网络的临界组织可描述为奇异吸引子。在第二部分，我们研究 DNN 和 RNN 的随机版本。在这种情况下，网络参数是空间中二次可积函数的广义高斯随机变量。我们计算给定输入下输出的概率分布（在无限宽度情况下），并证明其具有幂类型展开，其中常数项为高斯分布。
引用
@article{arxiv.2601.19070,
title = {Critical Organization of Deep Neural Networks, and p-Adic Statistical Field Theories},
author = {W. A. Zúñiga-Galindo},
journal= {arXiv preprint arXiv:2601.19070},
year = {2026}
}
备注
Many typos and minor errors were corrected. The main theorem was strengthened