人工深度神经网络中吸收相变的普适标度律

我们证明，在信号传播动力学相边界（亦称混沌边缘）附近运行的常规人工深度神经网络，展现出非平衡统计力学中吸收相变的普适标度律。我们利用传播动力学的完全确定性本质，阐明了神经网络中的信号坍缩与吸收态（系统可以进入但无法逃逸的状态）之间的类比。我们的数值结果表明，多层感知机与卷积神经网络分别属于平均场和定向渗流普适类。此外，有限尺寸标度被成功应用，暗示其与深度学习中的深度-宽度权衡存在潜在联系。进一步，我们对梯度下降下训练动力学的分析揭示，将超参数调谐至相边界对于实现深度网络的最优泛化是必要但不充分的。值得注意的是，与标度律相关的非普适度量因子被证明在落实上述观测中起着重要作用。这些发现凸显了临界性概念在分析人工深度神经网络行为中的有用性，并为批判性与其和智能本质关系之间的统一理解提供了新见解。