深度网络的统计神经动力学：信号空间的几何

统计神经动力学研究随机连接神经网络的宏观行为。我们考虑一个深层前馈网络，其中输入信号逐层处理。若神经元数大于输入数，输入信号的流形作为弯曲子流形嵌入下一层更高维流形中。我们展示了嵌入流形的几何特征，证明该流形局部各向同性地放大或收缩，从而总是共形嵌入。我们研究了嵌入流形的曲率。标量曲率收敛于常数或缓慢发散至无穷。两信号间距离也会变化，若层中神经元数与层数均趋于无穷，则最终收敛至稳定固定值。这导致一个问题：当考虑输入空间中的一条曲线时，它被映射为具有分形性质的连续曲线，但我们的理论矛盾地表明该曲线最终收敛为等间距的离散点集。现实中神经元数与层数均有限，因此预期有限尺寸效应导致了理论与现实间的偏差。我们需进一步研究这些偏差以理解其对信息处理的含义。