三层 ReLU 网络的对称性
机器学习
2026-05-19 v1 离散数学
代数几何
组合数学
摘要
我们开发了一个用于分析深度 ReLU 网络参数对称性的框架，并获得了三层瓶颈架构的通用参数纤维的完整刻画。我们的方法提供了这些纤维的显式半代数描述，并产生了一个多项式时间算法来判定两个参数的函数等价性。这些对称性包括由层复合引起的离散和连续变换，并取决于更深层是隐藏还是保留了来自前层的几何结构。最后，我们证明其中一些对称性沿梯度流诱导出局域守恒定律，而另一些则不会。
引用
@article{arxiv.2605.18319,
title = {The Symmetries of Three-Layer ReLU Networks},
author = {Johanna Marie Gegenfurtner and Moritz Grillo and Guido Montúfar},
journal= {arXiv preprint arXiv:2605.18319},
year = {2026}
}