当神经元失效时

我们将神经网络视为一个神经元可能独立失效的分布式系统，并在没有任何（恢复）学习阶段的情况下评估其鲁棒性。我们给出了在不损害计算结果的前提下可以失效的神经元数量的紧确界。为确定这些界，我们利用了神经激活函数是Lipschitz连续的这一事实。我们的界针对一个我们称之为“前向误差传播”的量，该量刻画了当给定数量的组件失效时神经网络传播的误差大小，计算该量仅需考察网络的拓扑结构，而通过实验评估网络的鲁棒性则需要考察所有可能的输入并测试对应于不同失效情形的所有可能的网络配置，面临令人望而却步的组合爆炸。我们区分了可能失效并停止其活动的神经元（崩溃神经元）与可能通过传输任意值而失效的神经元（拜占庭神经元）这两种情形。有趣的是，正如我们在文中所展示的，我们的界可以很容易地扩展到突触可能失效的情形。我们展示了如何利用我们的界来量化记忆成本降低对神经网络准确性的影响，估计任意神经元从其前一层所需的信息量，从而启用一种防止神经元等待不必要信号的提升方案。我们最后讨论了神经网络鲁棒性与学习成本之间的权衡。