ReLU前馈神经网络的局部Lipschitz常数计算：带精确性验证的上界计算

本文研究以修正线性单元（ReLU）为激活函数的前馈神经网络（FNN）的局部Lipschitz常数计算问题。针对目标输入的FNN局部Lipschitz常数是对其可靠性进行定量评估的合理度量。遵循利用刻画ReLU行为的乘子（multiplier）的标准流程，我们首先将局部Lipschitz常数的上界计算问题转化为半定规划问题（SDP）。此处我们新引入余正（copositive）乘子以精确刻画ReLU行为。接着，通过考虑该上界计算SDP的对偶问题，我们其次导出了一种可判定所计算上界是否精确的可行检验方法。然而，对于具有数百个ReLU的实用FNN，这些SDP难以求解。为解决此问题，我们进一步提出一种构造降阶模型的方法，该模型在目标输入邻域内的输入输出特性与原始FNN一致。最后，我们通过实用FNN的数值算例说明了模型降阶与精确性验证方法的有效性。