从分布外检测视角以数据为中心的方法改进对抗训练
机器学习
2023-01-26 v1 计算机视觉与模式识别
摘要
当前的机器学习模型在许多现实应用中达到了超越人类的性能。但它们仍易受难以察觉的对抗扰动的影响。该问题最有效的解决方案是对抗训练,即用对抗扰动的样本而非原始样本训练模型。近年来已开发多种方法来改进对抗训练,如数据增强或修改训练攻击。在本工作中,我们从新的以数据为中心的视角审视同一问题。为此,我们首先证明现有的基于模型的方法等价于对困难训练样本施加更小的扰动或优化权重。利用这一发现,我们提议直接从训练过程中检测并移除这些困难样本,而非应用复杂算法来减轻其影响。对于检测,我们使用最大 softmax 概率作为分布外检测中的有效方法,因为我们可以将困难样本视为整体数据分布的分布外样本。我们在 SVHN 和 CIFAR-10 数据集上的结果表明,该方法在不过度增加计算成本的情况下改进对抗训练的有效性。
引用
@article{arxiv.2301.10454,
title = {A Data-Centric Approach for Improving Adversarial Training Through the Lens of Out-of-Distribution Detection},
author = {Mohammad Azizmalayeri and Arman Zarei and Alireza Isavand and Mohammad Taghi Manzuri and Mohammad Hossein Rohban},
journal= {arXiv preprint arXiv:2301.10454},
year = {2023}
}
备注
Accepted to CSICC 2023