面向多扰动的自适应平滑度加权对抗训练及其稳定性分析
机器学习
2022-10-04 v1
摘要
对抗训练（AT）已被证明是对抗对抗样本最有效的方法之一。尽管大多数现有工作聚焦于单一类型扰动（例如攻击）下的AT，深度神经网络（DNN）正面临来自不同类型对抗样本的威胁。因此，面向多扰动的对抗训练（ATMP）被提出，以推广针对不同扰动类型（即、和范数有界扰动）的对抗鲁棒性。然而，所得模型在不同攻击间表现出权衡。同时，目前缺乏对ATMP的理论分析，限制了其进一步发展。本文中，我们首先给出ATMP的平滑度分析，表明、和对抗者对ATMP损失函数平滑度的贡献不同。基于此，我们推导出基于稳定性的超额风险界，并提出面向多扰动的自适应平滑度加权对抗训练。理论上，我们的算法给出了更优的界。在实验上，我们在CIFAR10和CIFAR100上的实验针对多种扰动混合攻击取得了最优（SOTA）性能。
引用
@article{arxiv.2210.00557,
title = {Adaptive Smoothness-weighted Adversarial Training for Multiple Perturbations with Its Stability Analysis},
author = {Jiancong Xiao and Zeyu Qin and Yanbo Fan and Baoyuan Wu and Jue Wang and Zhi-Quan Luo},
journal= {arXiv preprint arXiv:2210.00557},
year = {2022}
}