对对抗扰动鲁棒的深度神经网络的快速训练
机器学习
2020-07-09 v1 机器学习
摘要
深度神经网络能够在许多领域中快速训练并良好泛化。尽管其性能令人瞩目，深度网络已显示出对其输入扰动（例如对抗样本）的敏感性，且其学到的特征表示往往难以解释，引发了对其真实能力与可信度的担忧。近期关于对抗训练的工作——一种模型针对对抗样本进行优化的鲁棒优化形式——展示了改善对扰动的性能敏感性并产生更具可解释性的特征表示的能力。然而，对抗训练相比标准（即非鲁棒）训练带来了更高的计算成本，使其难以应用于大规模问题。近期工作表明，对抗训练的一种快速近似在减少训练时间并在受无穷范数界定的扰动下保持鲁棒性方面展现出前景。在本工作中，我们证明该方法可推广至欧几里得范数，并保留鲁棒模型常见的人对齐特征表示。此外，我们展示了使用分布式训练方案可进一步减少训练鲁棒深度网络的时间。快速对抗训练是一种有前景的方法，将为那些此前认为鲁棒优化不切实际的机器学习应用提供增强的安全性与可解释性。
引用
@article{arxiv.2007.03832,
title = {Fast Training of Deep Neural Networks Robust to Adversarial Perturbations},
author = {Justin Goodwin and Olivia Brown and Victoria Helus},
journal= {arXiv preprint arXiv:2007.03832},
year = {2020}
}