深度神经网络的Wasserstein分布对抗训练
机器学习
2025-02-14 v1 计算机视觉与模式识别
最优化与控制
摘要
深度神经网络的对抗攻击设计以及针对对抗攻击的对抗训练方法是当前 intense 研究的课题。在本文中，我们提出了针对分布对抗威胁的训练方法，扩展了用于逐点攻击的TRADES方法。我们的方法利用近期贡献并依赖于Wasserstein分布鲁棒优化问题的灵敏度分析。我们引入了一种高效的微调方法，可部署于先前训练好的模型。我们在RobustBench上的一系列预训练模型上测试了我们的方法。这些实验结果表明，额外的训练增强了Wasserstein分布鲁棒性，同时保持了原始逐点鲁棒性水平，即使对于已经非常成功的网络也是如此。对于使用大规模合成数据集（2000万至1亿张图像）预训练的模型，提升效果不太显著。然而，值得注意的是，即使仅使用原始训练数据集（5万张图像）进行训练，我们的方法有时仍能改善其性能。
引用
@article{arxiv.2502.09352,
title = {Wasserstein distributional adversarial training for deep neural networks},
author = {Xingjian Bai and Guangyi He and Yifan Jiang and Jan Obloj},
journal= {arXiv preprint arXiv:2502.09352},
year = {2025}
}
备注
15 pages, 4 figures