插值对抗训练：在不过度牺牲准确率的情况下实现鲁棒神经网络
机器学习
2022-10-20 v7 机器学习
摘要
对抗鲁棒性已成为深度学习理论和实践中的核心目标。然而，提升对抗鲁棒性的成功方法（如对抗训练）会严重损害在未受扰动数据上的泛化性能。这可能对对抗鲁棒性如何影响现实世界系统产生重大影响（即许多人可能会选择放弃鲁棒性，如果它能提高在未受扰动数据上的准确率）。我们提出插值对抗训练，其在对抗训练框架中采用了最近提出的基于插值的训练方法。在 CIFAR-10 上，对抗训练将标准测试误差（无对抗者时）从 4.43% 增加到 12.32%，而使用我们的插值对抗训练，我们在保持对抗鲁棒性的同时仅达到 6.45% 的标准测试误差。使用我们的技术，鲁棒模型的相对标准误差增加从 178.1% 降低到仅 45.5%。此外，我们提供了对插值对抗训练的数学分析以确认其效率，并展示其在鲁棒性和泛化性方面的优势。
引用
@article{arxiv.1906.06784,
title = {Interpolated Adversarial Training: Achieving Robust Neural Networks without Sacrificing Too Much Accuracy},
author = {Alex Lamb and Vikas Verma and Kenji Kawaguchi and Alexander Matyasko and Savya Khosla and Juho Kannala and Yoshua Bengio},
journal= {arXiv preprint arXiv:1906.06784},
year = {2022}
}
备注
This is the latest version, which is published in the Journal, "Neural Networks", in 2022. All the previous results are unchanged. First two authors contributed equally