提升局部有效性以实现全局鲁棒训练
机器学习
2021-10-28 v1 计算机视觉与模式识别
摘要
尽管深度神经网络广受欢迎，却易被欺骗。为缓解此缺陷，研究者正积极开发新训练策略，以鼓励对微小输入扰动具有鲁棒性的模型。已有若干成功的鲁棒训练方法被提出。然而，其中许多依赖强对抗样本，当输入维度高且模型结构复杂时，生成代价可能极其高昂。我们采用鲁棒性的新视角，提出一种允许更有效利用对抗样本的新训练算法。我们的方法在每个以对抗样本为中心的局部球内提升模型鲁棒性，随后通过这些局部球经全局项组合，实现整体鲁棒性。我们证明，通过聚焦局部球最大化利用对抗样本，可用弱对抗样本达到高鲁棒准确率。具体而言，在 MNIST、CIFAR-10 和 CIFAR-100 上，我们的方法达到与用强对抗样本训练的 SOTA 方法相近的鲁棒准确率水平。因此，总体训练时间得以缩短。此外，当用强对抗样本训练时，我们的方法在 MNIST 上与当前 SOTA 持平，并在 CIFAR-10 与 CIFAR-100 上优于它们。
引用
@article{arxiv.2110.14030,
title = {Improving Local Effectiveness for Global robust training},
author = {Jingyue Lu and M. Pawan Kumar},
journal= {arXiv preprint arXiv:2110.14030},
year = {2021}
}