使用梯度下降学习单层神经网络超多项式下界

我们证明了关于高斯分布使用梯度下降学习单层神经网络的第一个超多项式下界。我们表明，在给定由单层神经网络标记的样本访问权限下，任何使用梯度下降结合平方损失训练的分类器都无法在多项式时间内实现较小的测试误差。对于分类任务，我们给出了更强的结论，即任何统计查询（SQ）算法（包括梯度下降）都无法在多项式时间内实现较小的测试误差。先前的工作仅适用于小批量大小运行的梯度下降，需要锐利激活函数，并且仅适用于特定类别的查询。我们的下界适用于包括 ReLU 和 sigmoid 在内的广泛激活函数类别。我们结果的核心依赖于一个简单神经网络族的新颖构造，该网络族在所有球对称分布下完全正交。