LipKernel：基于耗散层的 Lipschitz 有界卷积神经网络
机器学习
2026-04-10 v2 系统与控制
图像与视频处理
系统与控制
机器学习
摘要
我们为卷积神经网络 (CNN) 提出了一种新颖的逐层参数化方法，该方法通过强制施加预设的 Lipschitz 界来包含内置的鲁棒性保证。我们参数化中的每一层都被设计为满足一个线性矩阵不等式 (LMI)，这进而意味着该层关于特定供给率是耗散的。这些逐层 LMI 共同确保了神经网络输入-输出映射的 Lipschitz 有界性，从而产生了一种比通过谱界或正交层更具表达力的参数化方法。我们的新方法 LipKernel 使用二维 Roesser 型状态空间模型直接参数化耗散卷积核。这意味着卷积层在训练后以标准形式给出，并且可以在没有计算开销的情况下进行评估。在数值实验中，我们表明，使用我们方法的运行时间比在傅里叶域中参数化卷积的最先进的 Lipschitz 有界网络快几个数量级，这使得我们的方法对于提高机器人、自动驾驶车辆或自动化系统中基于学习的实时感知或控制的鲁棒性特别有吸引力。我们专注于 CNN，与以往工作相比，我们的方法适用于 CNN 中通常使用的各种层，包括一维和二维卷积层、最大池化和平均池化层，以及步幅卷积、空洞卷积和零填充。然而，我们的方法自然地扩展到 CNN 之外，因为我们可以纳入任何增量耗散的层。
引用
@article{arxiv.2410.22258,
title = {LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers},
author = {Patricia Pauli and Ruigang Wang and Ian Manchester and Frank Allgöwer},
journal= {arXiv preprint arXiv:2410.22258},
year = {2026}
}