面向对抗学习的无Hessian二阶对抗样本
机器学习
2022-07-05 v1 密码学与安全
计算机视觉与模式识别
摘要
近期研究表明深度神经网络（DNNs）极易受到精心设计的对抗样本的攻击。利用这些对抗样本进行对抗学习已被证明是防御此类攻击最有效的方法之一。目前，大多数现有对抗样本生成方法基于一阶梯度，难以进一步提升模型鲁棒性，尤其在面对二阶对抗攻击时。与一阶梯度相比，二阶梯度对自然样本损失景观提供了更精确的近似。受此启发，我们构造二阶对抗样本并用其训练 DNNs。然而，二阶优化涉及耗时的 Hessian 逆计算。我们提出一种近似方法，将问题转化为 Krylov 子空间中的优化，显著降低了计算复杂度以加速训练过程。在 MNIST 和 CIFAR-10 数据集上的大量实验表明，我们的二阶对抗样本对抗学习优于其他一阶方法，能提升模型对多种攻击的鲁棒性。
引用
@article{arxiv.2207.01396,
title = {Hessian-Free Second-Order Adversarial Examples for Adversarial Learning},
author = {Yaguan Qian and Yuqi Wang and Bin Wang and Zhaoquan Gu and Yuhan Guo and Wassim Swaileh},
journal= {arXiv preprint arXiv:2207.01396},
year = {2022}
}