单步对抗训练的正则化器
机器学习
2020-02-06 v1 计算机视觉与模式识别
摘要
过去十年的进展使机器学习模型在计算机视觉的广泛任务中取得了令人印象深刻的性能。然而，大量工作表明这些模型易受对抗样本的攻击。人们提出了对抗训练过程来防御此类对抗攻击。对抗训练方法用对抗样本增广小批量，且通常使用单步（非迭代）方法来生成这些对抗样本。然而，使用单步对抗训练训练的模型会收敛到退化极小值，模型仅表面上看似鲁棒。这些模型的伪鲁棒性源于梯度掩蔽效应。尽管多步对抗训练有助于学习鲁棒模型，但由于使用迭代方法生成对抗样本，它们难以扩展。为解决这些问题，我们提出了三种不同类型的正则化器，可借助单步对抗训练方法学习鲁棒模型。所提出的正则化器通过利用区分鲁棒模型与伪鲁棒模型的属性，缓解了梯度掩蔽的影响。使用所提正则化器训练的模型性能与使用计算代价高昂的多步对抗训练方法训练的模型相当。
引用
@article{arxiv.2002.00614,
title = {Regularizers for Single-step Adversarial Training},
author = {B. S. Vivek and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2002.00614},
year = {2020}
}