不激活的激活函数：一种解释神经网络的可信理论

研究者通常认为神经网络建模了一个高维空间，却无法清晰定义该空间。这个空间是什么？它的维数是多少？它是否具有有限维？本文中，我们基于激活函数在神经网络中的作用发展了一种解释神经网络的可信理论，并定义了一个神经网络（包括深度学习网络）能够创建的（更确切地说，无限维）高维空间。我们表明，激活函数充当放大函数，将低维线性空间映射为无限维空间，从而可清晰辨识以给定数据集相同特征为变量值的任意多元连续函数的多项式逼近。给定每个样本具有 $d$ 个特征 $f_1$, $f_2$, $\cdots$, $f_d$ 的数据集，我们认为神经网络建模了一个具有无限维的特殊空间，其中每一维均为单项式 $$\prod_{i_1, i_2, \cdots, i_d} f_1^{i_1} f_2^{i_2} \cdots f_d^{i_d}$$ 对若干非负整数 ${i_1, i_2, \cdots, i_d} \in \mathbb{Z}_{0}^{+}=\{0,1,2,3,\ldots\}$。我们称此无限维空间为 $\textit{超级空间（SS）}$。我们将这样的维视为最小信息单元。神经网络中此前经过激活层的每个神经元节点是一个 $\textit{超级平面（SP）}$，其实际为无限次多项式。该 $\textit{超级空间}$ 类似坐标系，其中每个多值函数均可由一 $\textit{超级平面}$ 表示。我们还表明，训练神经网络至少可归约为求解一组非线性方程组。