小型ReLU网络是强大的记忆器：记忆容量的紧致分析

我们研究有限样本表达能力，即ReLU网络的记忆能力。近期结果需要$N$个隐藏节点来记忆/插值任意$N$个数据点。相反，通过利用深度，我们表明具有$\Omega(\sqrt{N})$个隐藏节点的3层ReLU网络可以完美记忆大多数含$N$个点的数据集。我们还证明了宽度$\Theta(\sqrt{N})$对于记忆$N$个数据点是必要且充分的，给出了记忆容量的紧界。该充分性结果可推广至更深网络；我们表明隐藏层具有$W$个参数的$L$层网络若$W = \Omega(N)$则可记忆$N$个数据点。结合近期关于VC维的上界$O(WL\log W)$，我们的构造对任意固定$L$近乎紧致。随后，我们在一般位置假设下分析残差网络的记忆容量；我们证明的结果大幅降低了已知的$N$个隐藏节点的要求。最后，我们研究随机梯度下降(SGD)的动力学，并表明当在靠近经验风险的记忆化全局最小值处初始化时，SGD会快速找到一个具有更小经验风险的邻近点。