论神经网络的鲁棒性

随着基于神经网络的机器学习的发展及其在关键任务应用中的使用，反对神经网络“黑箱”特性的声音日益高涨，因为理解其局限性和能力变得至关重要。随着神经形态硬件的兴起，理解神经网络作为一个分布式系统如何容忍其计算节点（神经元）和通信通道（突触）的故障变得更加关键。通过实验评估神经网络的鲁棒性涉及一项不切实际的冒险：在所有可能的输入上测试所有可能的故障，这最终会遇到前者组合爆炸、后者无法收集所有可能输入的问题。在本文中，我们证明了当一部分神经元崩溃时，输出期望误差的一个上界。该界包含对网络参数的依赖关系，这些依赖关系在平均情况下可能被认为过于悲观。它包含对神经元激活函数利普希茨系数的多项式依赖，以及对发生故障的层深度的指数依赖。我们用实验支持了我们的理论结果，说明了我们的预测在多大程度上匹配了网络参数与鲁棒性之间的依赖关系。我们的结果表明，神经网络对平均崩溃的鲁棒性可以在无需在所有故障配置上测试网络，也无需访问用于训练网络的训练集的情况下进行估计，而这两者在实践中都是不可能的要求。