更低难度与更好鲁棒性：从Bregman散度视角看对抗训练
机器学习
2024-01-08 v3
摘要
在本文中，我们通过降低优化难度来研究改进对抗训练（AT）中所获得的对抗鲁棒性。为了更好地研究该问题，我们为AT构建了一个新颖的Bregman散度视角，其中AT可视为训练数据点在负熵曲线上的滑动过程。基于此视角，我们分析了两种典型AT方法即PGD-AT和TRADES的学习目标，发现TRADES的优化过程比PGD-AT更容易，因为TRADES将PGD-AT分离。此外，我们讨论了熵在TRADES中的作用，发现具有高熵的模型可以是更好的鲁棒性学习器。受上述发现的启发，我们提出了两种方法即FAIT和MER，它们不仅能在10步PGD对抗下降低优化难度，还能提供更好的鲁棒性。我们的工作表明，降低10步PGD对抗下的优化难度是增强AT中对抗鲁棒性的一种有前景的方法。
引用
@article{arxiv.2208.12511,
title = {Lower Difficulty and Better Robustness: A Bregman Divergence Perspective for Adversarial Training},
author = {Zihui Wu and Haichang Gao and Bingqian Zhou and Xiaoyan Guo and Shudong Zhang},
journal= {arXiv preprint arXiv:2208.12511},
year = {2024}
}