ReLU神经网络输出的约束

我们引入了一类自然关联的代数 variety，这些variety源于其输出在输入空间中激活区域的分段线性结构，以及参数空间中分段多线性结构。通过分析每个激活区域内网络输出的秩约束，我们推导出描述由网络表示的函数的多项式方程。我们进一步研究了这些variety在达到预期维度条件下的情形，为理解ReLU网络的表达和结构属性提供了洞见。