使用高效分层对抗训练正则化深度网络
计算机视觉与模式识别
2018-05-30 v2 机器学习
机器学习
摘要
对抗训练已被证明可以正则化深度神经网络，并增加其对对抗样本的鲁棒性。然而，其对极深的最先进网络的影响尚未被充分研究。在本文中，我们提出了一种通过扰动中间层激活来执行对抗训练的高效方法，并研究此类扰动作为训练期间正则化器的使用。我们利用这些扰动来训练诸如 ResNets 的极深模型，并展示了在对抗和原始测试数据上性能的改进。我们的实验突出了扰动中间层激活相对于仅扰动输入的好处。在 CIFAR-10 和 CIFAR-100 数据集上的结果显示了所提对抗训练方法的优点。在 WideResNets 上的额外结果表明，我们的方法为给定基础模型提供了分类准确性的显著提升，优于 dropout 和其他更大尺寸的基础模型。
引用
@article{arxiv.1705.07819,
title = {Regularizing deep networks using efficient layerwise adversarial training},
author = {Swami Sankaranarayanan and Arpit Jain and Rama Chellappa and Ser Nam Lim},
journal= {arXiv preprint arXiv:1705.07819},
year = {2018}
}
备注
Published at the Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18). Official link: https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/16634