ReLU神经网络的 toric 几何

给定连续分段线性函数 $f:\mathbb{R}^{n_0} \to \mathbb{R}$ 和给定的前馈 ReLU 神经网络架构 $(n_0,\ldots,n_k;1)$，精确函数实现问题是确定是否存在某个具有给定架构的网络实现 $f$。为发展系统性地回答这些问题，我们在 toric 几何与 ReLU 神经网络之间建立了联系。这种方法使我们能够利用代数几何中诸多结构和工具来研究 ReLU 神经网络。以无偏 ReLU 神经网络（具有有理权重）为起点，我们定义了 ReLU fan、ReLU toric variety 以及与网络相关的 ReLU Cartier divisor。本工作还揭示了热纹理几何与 ReLU 神经网络 toric 几何之间的联系。作为 toric 几何框架的应用，我们通过计算 ReLU Cartier divisor 与 torus 不变曲线的交数，证明了无偏浅层 ReLU 神经网络可实现函数的必要充分条件。