由平均激活算子驱动的分层网络结构的 Lipschitz 证书
最优化与控制
2020-06-23 v4
摘要
获取前馈神经网络的精确 Lipschitz 常数对于评估其在输入扰动下的鲁棒性至关重要。我们在涉及非扩张平均算子与仿射算子复合的一般分层网络模型背景下推导了此类常数。通过利用该架构，我们的分析精细地捕捉了层与层之间的相互作用，得出了比由各组层单独边界的乘积所得更紧的 Lipschitz 常数。所提出的框架被证明特别涵盖了前馈神经网络中遇到的许多实际情况。在采用标量非线性函数的结构中，我们的 Lipschitz 常数估计得到了进一步改善，其中包括将标准卷积网络作为特殊情况。
关键词
引用
@article{arxiv.1903.01014,
title = {Lipschitz Certificates for Layered Network Structures Driven by Averaged Activation Operators},
author = {Patrick L. Combettes and Jean-Christophe Pesquet},
journal= {arXiv preprint arXiv:1903.01014},
year = {2020}
}