具有自然权重的神经网络的学习困难性

尽管存在很强的困难性结果，神经网络如今仍非常成功。现有的困难性结果聚焦于网络架构，并假设网络权重是任意的。解决这一矛盾的一个自然思路是假设网络权重是“良态的”并具备某些可能允许高效学习的通用性质。这一思路得到如下直觉的支持：真实世界网络中的权重并非任意，而是相对于某些“自然”分布表现出某些“类随机”性质。我们在该方向上证明了否定性结果，并表明对于深度为 $2$ 的网络以及许多“自然”权重分布（如正态分布和均匀分布），大多数网络都难以学习。即，不存在对任意输入分布、对大多数权重可证明成功的高效学习算法。这意味着在此类随机网络中不存在以高概率成立并允许高效学习的通用性质。