迈向稳定高效的可验证鲁棒神经网络训练
机器学习
2019-11-28 v2 密码学与安全
机器学习
摘要
训练具备可验证鲁棒性保证的神经网络颇具挑战。若干现有方法利用扰动下基于线性松弛的神经网络输出界，但其训练速度可能根据底层网络架构放慢数百倍。与此同时，基于区间界传播 (IBP) 的训练高效，且在许多任务上显著优于基于线性松弛的方法，但其可能存在稳定性问题，因为尤其在训练初期界要宽松得多。本文提出一种新认证对抗训练方法 CROWN-IBP，在前向界传播中结合快速 IBP 界，在后向界传播中结合紧致的基于线性松弛的界 CROWN。CROWN-IBP 计算高效，并在训练可验证鲁棒神经网络上持续优于 IBP 基线。我们在 MNIST 与 CIFAR 数据集上开展大规模实验，并在 鲁棒性上超越所有先前的线性松弛与界传播类认证防御。值得注意的是，我们在 下于 MNIST 取得 7.02% 的验证测试误差，在 下于 CIFAR-10 取得 66.94%。代码见 https://github.com/deepmind/interval-bound-propagation (TensorFlow) 与 https://github.com/huanzhang12/CROWN-IBP (PyTorch)。
引用
@article{arxiv.1906.06316,
title = {Towards Stable and Efficient Training of Verifiably Robust Neural Networks},
author = {Huan Zhang and Hongge Chen and Chaowei Xiao and Sven Gowal and Robert Stanforth and Bo Li and Duane Boning and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:1906.06316},
year = {2019}
}