对抗训练的数据依赖稳定性分析
机器学习
2024-01-09 v1
摘要
稳定性分析是研究深度学习泛化能力的一个重要方面，因为它涉及为基于随机梯度下降的训练算法推导泛化界。对抗训练是抵御对抗样本攻击最广泛使用的防御方法。然而，先前针对对抗训练的泛化界并未包含关于数据分布的信息。在本文中，我们通过提供包含数据分布信息的基于随机梯度下降的对抗训练泛化界来填补这一空白。我们利用平均稳定性和高阶近似利普希茨条件的概念来检验数据分布和对抗预算的变化如何影响鲁棒泛化差距。我们为凸和非凸损失推导的泛化界至少与不包含数据分布信息的基于均匀稳定性的对应界一样好。此外，我们的发现展示了来自数据投毒攻击的分布偏移如何影响鲁棒泛化。
引用
@article{arxiv.2401.03156,
title = {Data-Dependent Stability Analysis of Adversarial Training},
author = {Yihan Wang and Shuang Liu and Xiao-Shan Gao},
journal= {arXiv preprint arXiv:2401.03156},
year = {2024}
}