提升 DNN 鲁棒性训练的可负担性
机器学习
2020-05-01 v2 计算机视觉与模式识别
机器学习
摘要
基于投影梯度下降（PGD）的对抗训练已成为构建鲁棒深度神经网络模型最突出的方法之一。然而，该方法因在寻找对抗样本时需最大化损失函数而带来的计算复杂度是一个长期存在的问题，且在使用更大更复杂的模型时可能令人望而却步。本文中我们表明对抗训练的初始阶段是冗余的，可用自然训练替代从而显著提升计算效率。我们证明该效率提升可在自然与对抗测试样本精度上无任何损失地获得。我们以有关对抗样本本质及其在训练过程中相对强度的洞见支撑我们的论点。我们展示了所提方法可将训练时间减少至多 2.5 倍，同时在各种强度的对抗攻击下具有可比或更好的模型测试精度与泛化能力。
引用
@article{arxiv.2002.04237,
title = {Improving the affordability of robustness training for DNNs},
author = {Sidharth Gupta and Parijat Dube and Ashish Verma},
journal= {arXiv preprint arXiv:2002.04237},
year = {2020}
}