隐式与前馈神经网络鲁棒性区间可达性分析的对比研究
机器学习
2022-04-04 v1 系统与控制
系统与控制
最优化与控制
摘要
我们利用区间可达性分析为隐式神经网络（INNs）提供鲁棒性保证。INNs 是一类以隐式方程作为网络层的隐式学习模型，已被证明相比传统深度神经网络具有若干显著优势。我们首先确立：神经网络的紧包含函数（提供输入-输出映射的最紧矩形过近似）比被广泛研究的局部 Lipschitz 常数鲁棒性度量能给出更锐利的鲁棒性保证。与 Lipschitz 常数类似，紧包含函数计算困难，因此我们提出利用混合单调性与收缩理论来高效估计 INNs 的紧包含函数。我们表明，该方法的表现至少不逊于、且通常优于将前沿区间界传播方法应用于 INNs。我们设计了一种用于训练鲁棒 INNs 的新颖优化问题，并提供经验证据：经适当训练的 INNs 可比同等训练的前馈网络更具鲁棒性。
引用
@article{arxiv.2204.00187,
title = {Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks},
author = {Alexander Davydov and Saber Jafarpour and Matthew Abate and Francesco Bullo and Samuel Coogan},
journal= {arXiv preprint arXiv:2204.00187},
year = {2022}
}