重新审视深度信息传播：分形前沿与有限尺寸效应

信息传播刻画了深度神经网络中输入相关性跨层的演化方式。这一框架已通过平均场理论得到了充分研究，该理论假设网络无限宽。然而，这些假设对于实际的有限尺寸网络并不成立。本文研究了有限宽度的随机初始化神经网络中的信息传播，揭示了有序与混沌机制之间的边界呈现出分形结构。这在独立于输入数据和优化的设定下，展示了神经网络动力学的基本复杂性。为了将此分析扩展到多层感知机之外，本文利用近期引入的基于傅里叶的结构化变换，表明卷积神经网络中的信息传播也遵循相同的行为。在实践中，本文的研究突出了有限网络深度在分离性与鲁棒性权衡中的重要性。