对抗训练中的脆弱特征与批归一化研究
机器学习
2022-04-27 v1 密码学与安全
计算机视觉与模式识别
机器学习
摘要
现代深度学习架构利用批归一化（BN）来稳定训练并提高准确率。已有研究表明，仅BN层本身就具有惊人的表达能力。然而，在对抗样本鲁棒性的背景下，BN被认为会增加脆弱性。也就是说，BN有助于学习脆弱特征。尽管如此，BN仍被用于对抗训练，而对抗训练是学习鲁棒特征的事实标准。为了阐明BN在对抗训练中的作用，我们研究了与随机特征相比，BN的表达能力在多大程度上可用于鲁棒化脆弱特征。在CIFAR10数据集上，我们发现仅对BN层进行对抗微调就能产生非平凡的对抗鲁棒性。相比之下，从头开始仅对BN层进行对抗训练则无法获得有意义的对抗鲁棒性。我们的结果表明，脆弱特征可用于学习具有中等对抗鲁棒性的模型，而随机特征则不能。
引用
@article{arxiv.2204.12393,
title = {On Fragile Features and Batch Normalization in Adversarial Training},
author = {Nils Philipp Walter and David Stutz and Bernt Schiele},
journal= {arXiv preprint arXiv:2204.12393},
year = {2022}
}