增强扩散以改善鲁棒泛化
机器学习
2023-08-21 v2 人工智能
摘要
深度神经网络易受人类难以察觉的对抗扰动影响。最强的防御机制之一是对抗训练（Adversarial Training, AT）。在本文中，我们旨在解决AT中两个主要问题。首先，对于如何设置具有性能保证的超参数，AT研究仍缺乏共识，且定制化设置阻碍了AT研究中不同模型设计之间的公平比较。其次，鲁棒训练的神经网络难以良好泛化并遭受严重的过拟合。本文聚焦于主流AT框架——投影梯度下降对抗训练（Projected Gradient Descent Adversarial Training, PGD-AT）。我们通过连续时间随机微分方程（Stochastic Differential Equation, SDE）近似PGD-AT的动态过程，并表明该SDE的扩散项决定了鲁棒泛化。这一理论发现的直接含义是，鲁棒泛化与学习率和批量大小之比呈正相关。我们进一步提出一种新方法——扩散增强对抗训练（Diffusion Enhanced Adversarial Training, DEAT），以操控扩散项来改善鲁棒泛化，且几乎不带来额外计算负担。我们从理论上证明DEAT获得了比PGD-AT更紧的泛化界。我们的实证调研广泛且有力地证明，DEAT以显著优势普遍优于PGD-AT。
引用
@article{arxiv.2306.02618,
title = {Enhance Diffusion to Improve Robust Generalization},
author = {Jianhui Sun and Sanchit Sinha and Aidong Zhang},
journal= {arXiv preprint arXiv:2306.02618},
year = {2023}
}
备注
Accepted at KDD 2023