对抗训练是一种数据依赖算子范数正则化形式
机器学习
2020-10-26 v5 机器学习
摘要
我们建立了深度神经网络对抗训练与算子范数正则化之间的理论联系。具体而言，我们证明了基于 范数约束投影梯度上升、对干净与扰动输入对数上的 范数损失的对抗训练，等价于数据依赖的 (p, q) 算子范数正则化。这一基本联系证实了长期以来的论点，即网络对对抗样本的敏感性与其谱性质相关，并暗示了鲁棒化和防御对抗攻击的新途径。我们在最先进的网络架构上提供了广泛的经验证据以支持我们的理论结果。
引用
@article{arxiv.1906.01527,
title = {Adversarial Training is a Form of Data-dependent Operator Norm Regularization},
author = {Kevin Roth and Yannic Kilcher and Thomas Hofmann},
journal= {arXiv preprint arXiv:1906.01527},
year = {2020}
}
备注
NeurIPS2020