测度、流形、学习与优化：一种神经网络理论

我们基于概率耦合理论提出了一套形式化的神经网络(NN)测度论理论。我们的主要贡献总结如下。* 基于概率耦合理论的形式化框架，我们推导出一个名为层次测度群与近似系统(HMGAS)、昵称S系统的算法框架，旨在学习物理世界中复杂的层次化统计依赖关系。* 我们表明，当概率核取某些指数族分布时，神经网络是S系统的特例。激活函数被形式化地推导出来。我们进一步通过信息几何赋予神经网络以几何结构，表明神经网络的中间特征空间是随机流形，并证明随着层数堆叠，样本间的“距离”被压缩。* S系统表明神经网络本质上是随机的，在一组现实的有界性与多样性条件下，借助平均场理论、随机矩阵理论和非线性算子方程中的工具与思想，我们得以证明对于具有一类损失（包括铰链损失）的大尺寸非线性深度神经网络，所有局部极小都是零损失误差的全局极小，且极小点附近是平坦盆地，其Hessian矩阵的所有特征值都集中在零附近。* S系统、信息几何结构以及优化行为相结合，完成了重整化群(RG)与神经网络之间的类比。它表明神经网络是一个复杂自适应系统，在多个尺度上估计微观对象（如像素）的统计依赖。不同于物理中RG所产生的清晰物理量和温度，神经网络对学习/优化中涌现的流形进行重整/重组，将样本空间划分为由监督标签（在监督式神经网络中）决定的、具有高度语义意义的组。