类 Sigmoid 神经网络鲁棒性验证的可证明最紧线性近似
机器学习
2022-08-31 v1 密码学与安全
摘要
深度神经网络的鲁棒性对现代 AI 系统至关重要，并应被形式化验证。类 Sigmoid 神经网络已广泛应用于众多领域。由于其非线性，类 Sigmoid 激活函数通常被过度近似以实现高效验证，这不可避免地引入了不精确性。大量工作致力于寻找所谓更紧的近似以获得更精确的验证结果。然而，现有的紧性定义是启发式的且缺乏理论基础。我们对现有的神经元级紧性刻画进行了全面的实证分析，揭示它们仅在特定神经网络上更优。随后我们引入网络级紧性概念作为统一的紧性定义，并证明计算网络级紧性是一个复杂的非凸优化问题。我们从不同角度绕过该复杂性，提出两种高效的、可证明最紧的近似方法。结果表明我们的方法相对于 SOTA 取得了有前景的性能提升：(i) 认证下界鲁棒性界最高提升 251.28%；(ii) 在卷积网络上展现出明显更精确的验证结果。
引用
@article{arxiv.2208.09872,
title = {Provably Tightest Linear Approximation for Robustness Verification of Sigmoid-like Neural Networks},
author = {Zhaodi Zhang and Yiting Wu and Si Liu and Jing Liu and Min Zhang},
journal= {arXiv preprint arXiv:2208.09872},
year = {2022}
}
备注
Accepted at ASE 2022