用EMA方法和集成模型提升认证的 $\ell_\infty$ 鲁棒性
机器学习
2021-07-02 v1
摘要
基于 -dist神经元具有 -Lipschitz性质的神经网络在认证的 鲁棒性上具有理论保证。然而,由于网络训练固有的困难,先前工作的认证准确率有限。本文中,我们提出两种方法来处理这些困难。针对基于 -范数神经网络的训练过程特点,我们引入EMA方法来改进训练过程。考虑到训练算法的随机性,我们提出了一种基于已训练且具有 -Lipschitz性质的基础模型的集成方法,并在小参数网络上获得显著提升。此外,我们给出了基于 -Lipschitz性质的集成方法在认证鲁棒性上的理论分析,确保了算法的有效性与稳定性。我们的代码可在 https://github.com/Theia-4869/EMA-and-Ensemble-Lip-Networks 获取。
引用
@article{arxiv.2107.00230,
title = {Boosting Certified $\ell_\infty$ Robustness with EMA Method and Ensemble Model},
author = {Binghui Li and Shiji Xin and Qizhe Zhang},
journal= {arXiv preprint arXiv:2107.00230},
year = {2021}
}