论 ReLU 神经网络的最优记忆能力

我们研究前馈 ReLU 神经网络的记忆能力。我们表明，此类网络可以使用 $\tilde{O}\left(\sqrt{N}\right)$ 个参数来记忆任意满足温和可分性假设的 $N$ 个点。已知的 VC 维上界意味着记忆 $N$ 个样本需要 $\Omega(\sqrt{N})$ 个参数，因此我们的构造在对数因子范围内是最优的。我们还给出了深度受限为 $1 \leq L \leq \sqrt{N}$ 的网络的一般化构造，以使用 $\tilde{O}(N/L)$ 个参数记忆 $N$ 个样本。该界同样在对数因子范围内是最优的。我们的构造使用了具有大比特复杂度的权重。我们证明，具有如此大的比特复杂度对于以亚线性参数数量实现记忆既是必要的也是充分的。