基于非欧几里得压缩的鲁棒隐式网络

隐式神经网络（又称深度平衡网络）是一类隐式深度的学习模型，其函数求值通过求解不动点方程完成。它们推广了经典前馈模型，并等价于无限深度权值绑定前馈网络。虽然隐式模型展现出更高的精度并显著减少内存消耗，但它们可能遭受不适定性和收敛不稳定性。本文提供了一个新框架，我们称之为非欧几里得单调算子网络（NEMON），基于非欧几里得范数 $\ell_{\infty}$ 的压缩理论来设计适定且鲁棒的隐式神经网络。我们的框架包括（i）基于单边 Lipschitz 常数的适定性新条件，（ii）计算不动点的平均迭代，以及（iii）输入输出 Lipschitz 常数的显式估计。此外，我们设计了一个训练问题，以适定性条件和平均迭代为约束，并以输入输出 Lipschitz 常数为正则化项，从而获得鲁棒模型。我们的 $\ell_{\infty}$ 适定性条件比现有条件带来更大的多面体训练搜索空间，且我们的平均迭代享有加速收敛。最后，我们通过 MNIST 和 CIFAR-10 数据集在图像分类中评估我们的框架。数值结果证明了隐式模型在更小输入输出 Lipschitz 界下具有改进的精度和鲁棒性。代码见 https://github.com/davydovalexander/Non-Euclidean_Mon_Op_Net。