深度阈值网络记忆容量的指数级提升

众所周知，现代深度神经网络足以记住数据集，即使标签已被随机化。最近，Vershynin (2020) 解决了 Baum (1988) 提出的长期问题，证明深度阈值网络可以使用 $\widetilde{\mathcal{O}}(e^{1/\delta^2}+\sqrt{n})$ 个神经元和 $\widetilde{\mathcal{O}}(e^{1/\delta^2}(d+\sqrt{n})+n)$ 个权重来记住 $d$ 维中的 $n$ 个点，其中 $\delta$ 是点之间的最小距离。在这项工作中，我们将对 $\delta$ 的依赖性从指数级改进为近乎线性，证明 $\widetilde{\mathcal{O}}(\frac{1}{\delta}+\sqrt{n})$ 个神经元和 $\widetilde{\mathcal{O}}(\frac{d}{\delta}+n)$ 个权重就足够了。我们的构造仅在第一层使用高斯随机权重，而所有后续层使用二值或整数权重。我们还通过将神经网络中的记忆与用超平面分离球面上 $n$ 个点的纯几何问题联系起来，证明了新的下界。