ReLU网络的离散函数几何学：基于ReLU过渡图
机器学习
2025-09-05 v2
摘要
我们将ReLU过渡图(RTG)框架扩展为理解深层ReLU网络的综合性图论模型。在该模型中，每个节点代表一个线性激活区域，边连接仅相差单个ReLU激活翻转的区域，形成网络功能行为上的离散几何结构。我们证明，随机初始化的RTG表现出强扩张、二项分布节点度以及谱特性，这些特性紧密控制泛化能力。这些结构洞察力量通过区域熵、谱间隙和边际KL散度，对容量和泛化提供了新的界限。实验上，我们为小型网络构建RTG，测量其平滑性和连通性特性，并验证了理论预测。我们的结果表明，区域熵在过参数化情况下会饱和，谱间隙与泛化呈相关，而相邻区域之间的KL散度反映功能的平滑性。这一工作为通过离散函数几何视角分析ReLU网络提供了统一框架，为理解、诊断和改进泛化提供了新工具。
引用
@article{arxiv.2509.03056,
title = {Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs},
author = {Sahil Rajesh Dhayalkar},
journal= {arXiv preprint arXiv:2509.03056},
year = {2025}
}
备注
7 pages, 3 figures. Submitted as a conference paper to 2025 5th International Conference on Robotics, Automation, and Artificial Intelligence (RAAI 2025)