浅层ReLU网络的完全对称性分类
机器学习
2026-04-16 v1 代数几何
组合数学
摘要
对于神经网络架构而言，参数空间并非函数空间。这一事实早在20世纪90年代就以“逆向工程”或“参数可辨识性”等术语被研究，并引出了一个自然的问题：参数空间对称性——即研究神经架构中实现相同函数的不同参数。事实上，通过识别产生相同函数的参数而得到的商空间，被称为神经流形，已在某些情况下被证明具有丰富的几何性质，影响着优化动力学。迄今为止，实现完全分类的技术需要激活函数的解析性，这尤其排除了ReLU这一重要情况。与此相反，本文利用ReLU激活函数的不可微性，提供了浅层情况下对称性的完全分类。
引用
@article{arxiv.2604.14037,
title = {A Complete Symmetry Classification of Shallow ReLU Networks},
author = {Pranavkrishnan Ramakrishnan},
journal= {arXiv preprint arXiv:2604.14037},
year = {2026}
}