面向神经网络鲁棒性认证的线性与半定松弛最优分支方法
机器学习
2025-05-13 v4 最优化与控制
摘要
本文研究认证 ReLU 神经网络针对对抗输入扰动的鲁棒性。为减小流行的线性规划（LP）与半定规划（SDP）认证方法所遭受的松弛误差，我们采用分支定界思路，提出对输入不确定性集合进行划分，并分别在各部分上求解松弛。我们证明该方法可降低松弛误差，且当采用智能设计以利用 ReLU 激活特性的划分执行 LP 松弛时，误差被完全消除。为将该方法扩展至大型网络，我们考虑使用较粗划分以减少划分数目。我们证明计算直接最小化 LP 松弛误差的此类粗划分是 NP-hard 的。转而最小化最坏情况 LP 松弛误差，我们在单隐藏层情形下发展了闭式分支方案。我们将分析扩展至 SDP，利用可行集几何设计最小化最坏情况 SDP 松弛误差的分支方案。在 MNIST、CIFAR-10 与 Wisconsin 乳腺癌诊断分类器上的实验表明，被认证测试样本的比例显著提升。通过独立增大输入规模与层数，我们实证说明了分支 LP 与分支 SDP 各自最佳应用的机制。最后，我们将 LP 分支方法扩展为多层层分支启发式，在大规模深度神经网络认证基准上取得了与先前最优启发式相当的性能。
引用
@article{arxiv.2101.09306,
title = {Towards Optimal Branching of Linear and Semidefinite Relaxations for Neural Network Robustness Certification},
author = {Brendon G. Anderson and Ziye Ma and Jingqi Li and Somayeh Sojoudi},
journal= {arXiv preprint arXiv:2101.09306},
year = {2025}
}
备注
Accepted for publication in the Journal of Machine Learning Research (JMLR). This is an extension of our IEEE CDC 2020 conference paper arXiv:2004.00570