前馈ReLU网络解的机理探析

本文旨在通过从基本规则推导，探索前馈ReLU网络对分段线性函数解的机制，以解释其机理。所构造的解应具有足够的普适性以解释工程中的一些网络架构；为此，提供了若干增强解普适性的方法。我们理论的部分结论包括：在仿射几何背景下，给出了三层网络与深层网络的解，特别是针对实际应用的架构，如多层前馈神经网络与解码器；我们对网络架构的各组成部分给出了清晰直观的解释；研究了多输出的参数共享机制；我们从仿射变换角度解释了过参数化解；在我们的框架下，深层相对于浅层的优势自然可得。一些中间结果是神经网络建模或理解的基础知识，如高维空间嵌入数据的分类、仿射变换的推广、矩阵秩的概率模型以及可区分数据集的概念。