关于认证对抗样本鲁棒性的半定松弛的紧性
最优化与控制
2020-10-28 v2 机器学习
机器学习
摘要
神经网络对对抗样本的鲁棒性可以通过求解凸松弛来提供可证明的认证。然而，如果松弛不紧，则所得证书可能过于保守而缺乏实际用途。近来，人们提出了一种较不保守的鲁棒性证书，其基于 ReLU 激活函数的半定规划（SDP）松弛。在本文中，我们描述了一种几何技术，用于确定该 SDP 证书是否精确，即它是否同时提供了最小对抗扰动大小的下界以及达到该下界的全局最优扰动。具体地，我们针对通常对抗攻击问题的最小二乘限制，表明 SDP 松弛等价于一个点到双曲线的非凸投影。当且仅当该点的投影位于双曲线的实轴上时，所得 SDP 证书是精确的。利用该几何技术，我们证明了在温和假设下证书在单隐藏层上是精确的，并解释了其在多层隐藏层时通常保守的原因。我们使用通用内点法和定制的秩-2 Burer-Monteiro 算法从实验上确认了我们的理论见解。
引用
@article{arxiv.2006.06759,
title = {On the Tightness of Semidefinite Relaxations for Certifying Robustness to Adversarial Examples},
author = {Richard Y. Zhang},
journal= {arXiv preprint arXiv:2006.06759},
year = {2020}
}
备注
NeurIPS 2020