关于具有等变性、局部性和权重共享的单隐层网络的样本复杂度

权重共享、等变性和局部滤波器(如卷积神经网络中的)被认为有助于提高神经网络的样本效率。然而,这些设计选择中的每一个如何影响泛化误差尚不清楚。通过统计学习理论的视角,我们旨在通过刻画每个选择对样本复杂度的相对影响来提供见解。我们获得了一类单隐层网络的下界和上界样本复杂度。对于一大类激活函数,这些界仅依赖于滤波器的范数,并且与维度无关。我们还提供了最大池化的界以及扩展到多层网络的界,两者都具有温和的维度依赖性。我们从理论结果中得出了一些启示。可以证明,根据权重共享机制,非等变的权重共享可以产生与等变情况相似的泛化界。我们表明局部性具有泛化优势,然而不确定性原理意味着局部性和表达性之间存在权衡。我们进行了大量实验,并强调了这些模型的一些一致趋势。