深度神经网络的局部 Lipschitz 界
机器学习
2023-02-10 v3 机器学习
数理金融
摘要
Lipschitz 常数是分析基于梯度的优化方法收敛性时出现的一个重要量。通常不清楚如何估计复杂模型的 Lipschitz 常数。因此，本文研究了一个可能对更广义的非凸优化领域有用的重要问题。主要结果给出了多层前馈神经网络及其梯度的 Lipschitz 常数的局部上界。此外，亦建立了下界，用以表明不可能导出 Lipschitz 常数的全局上界。与先前工作不同，我们针对网络参数而非输入计算 Lipschitz 常数。这些常数是基于梯度的优化方案中许多步长调度器及其收敛性分析的理论描述所必需的。该思路既简单又有效。结果被推广至神经网络的一种推广——连续深度神经网络，其由受控常微分方程（ODE）描述。
引用
@article{arxiv.2004.13135,
title = {Local Lipschitz Bounds of Deep Neural Networks},
author = {Calypso Herrera and Florian Krach and Josef Teichmann},
journal= {arXiv preprint arXiv:2004.13135},
year = {2023}
}