标签平滑与对数几率压缩：对抗训练的替代方案？
机器学习
2019-10-28 v1 机器学习
摘要
对抗训练是对抗对抗攻击的最强防御手段之一，但它需要在优化过程中为每个小批量生成对抗样本。训练期间生成这些样本的开销常常使得对抗训练无法用于复杂的图像数据集。在本研究中，我们探究了对抗训练提升分类器鲁棒性的机制，并表明这些机制可以通过简单的正则化方法（包括标签平滑与对数几率压缩）得到有效模仿。值得注意的是，将这些简单的正则化方法与高斯噪声注入结合使用，我们能够在不使用任何对抗样本的情况下实现强对抗鲁棒性——其表现往往超过对抗训练。
引用
@article{arxiv.1910.11585,
title = {Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?},
author = {Ali Shafahi and Amin Ghiasi and Furong Huang and Tom Goldstein},
journal= {arXiv preprint arXiv:1910.11585},
year = {2019}
}