基于多步风险最小化的对抗性参数防御
机器学习
2022-04-15 v2
摘要
先前的研究表明深度神经网络（DNN）对对抗样本存在脆弱性，且对抗训练可建立针对对抗样本的防御。此外，近期研究表明深度神经网络对参数损坏同样表现出脆弱性。模型参数的脆弱性对于模型鲁棒性与泛化能力的研究具有重要价值。本文中，我们引入参数损坏的概念，并提议利用损失变化指标来衡量损失盆地的平坦度以及神经网络参数的参数鲁棒性。在此基础上，我们分析参数损坏并提出多步对抗损坏算法。为增强神经网络，我们提出对抗参数防御算法，该算法最小化多种对抗参数损坏的平均风险。实验结果表明，所提算法可同时提升神经网络的参数鲁棒性与准确率。
引用
@article{arxiv.2109.02889,
title = {Adversarial Parameter Defense by Multi-Step Risk Minimization},
author = {Zhiyuan Zhang and Ruixuan Luo and Xuancheng Ren and Qi Su and Liangyou Li and Xu Sun},
journal= {arXiv preprint arXiv:2109.02889},
year = {2022}
}
备注
Accepted to Neural Networks. A substantial journal extension of our previous conference paper arXiv:2006.05620