利用控制工具估计一般神经网络架构的 Lipschitz 常数
机器学习
2024-11-26 v2 系统与控制
图像与视频处理
系统与控制
摘要
本文致力于利用半定规划估计一般神经网络架构的 Lipschitz 常数。为此，我们将神经网络解释为时变动力系统，其中第 层对应于时刻 的动力学。相较于先前工作的一项关键新颖之处在于，我们利用该解释，通过动态规划递归来发掘前馈神经网络的级联互连结构。非线性特性（如激活函数和非线性池化层）通过积分二次约束进行处理。如果神经网络包含信号处理层（卷积层或状态空间模型层），我们将其实现为 1-D/2-D/N-D 系统并同样利用该结构。我们通过更充分的结构利用（可扩展性）以及对一大类常见神经网络架构的泛化，区别于 Lipschitz 常数估计的相关工作。为了展示我们方法的通用性和计算优势，我们将其应用于在 MNIST 和 CIFAR-10 上训练的不同神经网络架构。
引用
@article{arxiv.2405.01125,
title = {Lipschitz constant estimation for general neural network architectures using control tools},
author = {Patricia Pauli and Dennis Gramlich and Frank Allgöwer},
journal= {arXiv preprint arXiv:2405.01125},
year = {2024}
}