仿射-ReLU函数的局部Lipschitz常数解析界
机器学习
2020-08-17 v1 机器学习
摘要
在本文中，我们确定了由仿射函数与修正线性单元(ReLU)复合而成的函数的局部Lipschitz常数的解析界。仿射-ReLU函数代表了深度神经网络中广泛使用的层，因为卷积、全连接和归一化函数都是仿射的，且通常后接ReLU激活函数。使用解析方法，我们从数学上确定了仿射-ReLU函数局部Lipschitz常数的上界，展示了如何将这些界组合以确定整个网络的界，并讨论了如何高效计算这些界，即使对于较大的层和网络也是如此。我们通过对AlexNet以及几个基于MNIST和CIFAR-10数据集的较小网络应用我们的结果来展示若干示例。结果表明，我们的方法产生了比标准保守界(即各层线性矩阵谱范数的乘积)更紧的界，尤其是对于小扰动。
引用
@article{arxiv.2008.06141,
title = {Analytical bounds on the local Lipschitz constants of affine-ReLU functions},
author = {Trevor Avant and Kristi A. Morgansen},
journal= {arXiv preprint arXiv:2008.06141},
year = {2020}
}
备注
14 pages, 5 figures