论在对称性下学习的困难性

我们研究通过梯度下降学习等变神经网络的问题。将已知对称性（“等变性”）融入神经网络已在从生物学到计算机视觉的各个领域经验性地提升了学习流程的性能。然而，一条丰富但独立的学习理论研究线表明，在相关统计查询（CSQ）模型（一个包含梯度下降的框架）中，实际学习浅层全连接（即非对称）网络具有指数级复杂度。在这项工作中，我们提出疑问：已知的问题对称性是否足以缓解使用梯度下降学习神经网络的基本困难性？我们对这个问题给出了否定答案。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式以及针对置换子群的帧平均网络的下界，这些下界在相关输入维度上均呈超多项式或指数级增长。因此，尽管通过对称性赋予了显著的归纳偏置，但通过梯度下降实际学习等变神经网络所表示的完整函数类仍然困难。