基于非凸低秩半定松弛的对抗训练神经网络紧致认证
机器学习
2023-06-16 v3 最优化与控制
机器学习
摘要
对抗训练以产生经验上对抗扰动鲁棒的优质神经网络模型而闻名。然而，一旦模型经过对抗训练，人们往往希望获得该模型对全部未来攻击真正鲁棒的认证。遗憾的是，面对对抗训练模型时，现有方法均难以给出足够强以至于具实用价值的认证。尤其线性规划（LP）技术面临“凸松弛壁垒”，即使经混合整数线性规划（MILP）与分支定界（BnB）技术精炼，仍无法给出高质量认证。本文提出一种基于半定规划（SDP）松弛低秩限制的非凸认证技术。该非凸松弛给出的强认证可与昂贵得多的 SDP 方法相媲美，而所优化变量数却与弱得多的 LP 方法相当。尽管非凸，我们展示了如何利用现成局部优化算法在多项式时间内达到并认证全局最优。实验发现，该非凸松弛几乎完全弥合了对抗训练模型精确认证之间的差距。
引用
@article{arxiv.2211.17244,
title = {Tight Certification of Adversarially Trained Neural Networks via Nonconvex Low-Rank Semidefinite Relaxations},
author = {Hong-Ming Chiu and Richard Y. Zhang},
journal= {arXiv preprint arXiv:2211.17244},
year = {2023}
}
备注
ICML 2023