ReLU 门的单射性容量

我们考虑 ReLU 网络层的单射性。确定 ReLU 单射性容量（层输入与输出的数量之比）被证明与确定所谓的 $\ell_0$ 球面感知机的容量同构。采用完全提升随机对偶理论，开发并利用了一个强大的程序来处理 $\ell_0$ 球面感知机，并隐式地处理 ReLU 层的单射性。为了将整个 fl RDT 机制投入实际使用，还进行了大量的数值评估。观察到提升机制收敛速度极快，在第三级提升时，估计量中的相对修正不超过 $\sim 0.1\%$。还揭示了关键提升参数之间的闭式显式解析关系。除了在处理所有必需的数值计算方面具有极其重要的意义外，这些关系还揭示了提升结构内优美的参数互联性。最后，结果表明所获得的结果也与 [40] 中的副本预测相当吻合。