隐式神经网络的鲁棒训练与验证：一种非欧几里得收缩方法

本文提出一种基于非欧几里得收缩理论的隐式神经网络训练与鲁棒性验证的理论与计算框架。基本思想是将神经网络的鲁棒性分析转化为可达性问题，并使用（i）$\ell_{\infty}$ 范数输入输出 Lipschitz 常数与（ii）网络的紧包含函数过度近似其可达集。首先，对于给定的隐式神经网络，我们利用 $\ell_{\infty}$ 矩阵测度给出其适定性的充分条件，设计迭代算法计算其不动点，并给出其 $\ell_\infty$ 范数输入输出 Lipschitz 常数的上界。其次，我们引入一个相关的嵌入网络，并证明该嵌入网络可用于给出原网络可达集的 $\ell_\infty$ 范数盒式过度近似。此外，我们利用嵌入网络设计迭代算法以计算原系统紧包含函数的上界。第三，我们利用 Lipschitz 常数上界与紧包含函数上界设计两种用于隐式神经网络训练与鲁棒性验证的算法。最后，我们将算法应用于在 MNIST 数据集上训练隐式神经网络，并将我们所建模型的鲁棒性与文献中现有方法训练的模型进行比较。