通过ReLU转移图透视ReLU网络的几何结构

我们通过一个我们称之为ReLU转移图（ReLU Transition Graph, RTG）的组合对象，开发了一个新颖的理论框架来分析ReLU神经网络。在该图中，每个节点对应于网络激活模式所诱导的一个线性区域，边连接那些仅因单个神经元翻转而不同的区域。基于此结构，我们推导出一系列新的理论结果，将RTG的几何性质与网络的表达能力、泛化性和鲁棒性联系起来。我们的贡献包括关于RTG大小和直径的紧组合界、RTG连通性的证明，以及对VC维的图论解释。我们还将RTG的熵和平均度与泛化误差相关联。每个理论结果都通过在不同网络深度、宽度和数据条件下精心控制的实验进行了严格验证。这项工作首次通过图论对ReLU网络结构进行了统一处理，并为基于RTG分析的压缩、正则化和复杂度控制开辟了新途径。