连续极限下神经网络的概率容错性

大脑中少数神经元的丢失很少导致任何可见的功能丧失。然而，对于此语境下“少数”意味着什么尚不清楚。需要多少随机神经元失效才会导致可见的功能丧失？在本文中，我们探讨随机子集神经元崩溃对神经网络整体计算及其输出误差的影响这一基本问题。我们在概率设定下研究经受小幅随机神经元/权重崩溃失效的神经网络容错性。我们给出了网络对这些崩溃鲁棒性的可证明保证。我们的主要贡献是利用连续极限下的泰勒展开（其中一层中邻近神经元相似）证明了在小随机 Bernoulli 崩溃下网络输出误差的界。我们模型中采用的失效模式是神经形态硬件（一种有前景的加速人工神经网络的技术）以及生物网络的特征。我们展示了我们的理论界可用于比较不同架构的容错性，并设计一种提升给定架构容错性的正则化器。我们设计了一种利用合理数量神经元实现容错性的算法。除理论证明外，我们还提供了实验验证，并暗示了与泛化能力问题的联系。