神经网络的图充分性视角

本文通过图变量和统计充分性分析神经网络。我们将神经网络层解释为基于图的变换，其中神经元充当输入与学习到的锚点之间的成对函数。在此公式下，我们建立了层输出对层输入充分的条件，即每一层都保留了给定输入变量下目标变量的条件分布。我们在此基于图的视角下探索了两条理论路径。第一条路径假设密集的锚点，并表明在无限宽度极限下渐近充分性成立，并在整个训练过程中得以保持。第二条路径更符合实际架构，通过假设区域分离的输入分布并构建适当的锚点，证明了有限宽度网络中的精确或近似充分性。该路径可以确保无限数量层的充分性属性，并为使用标准神经网络的回归和分类任务提供最优损失的误差界。我们的框架涵盖全连接层、一般成对函数、ReLU和sigmoid激活函数以及卷积神经网络。总体而言，这项工作桥接了统计充分性、图论表示和深度学习，为神经网络提供了新的统计理解。