利用自适应网络与改进对抗训练探索模型鲁棒性
机器学习
2020-06-02 v1 机器学习
摘要
对抗训练已被证明在使网络抵御对抗样本方面有效。然而，所获得的鲁棒性受限于网络容量和训练样本数量。因此，为构建更鲁棒的模型，通常的做法是在更宽、参数更多的网络上训练。为提升鲁棒性，我们提出了一种条件归一化模块，以在以输入样本为条件时使网络自适应。我们的自适应网络一旦经过对抗训练，就能在干净验证准确率和鲁棒性上均优于其非自适应对应网络。我们的方法独立于目标函数，并能一致地改进传统的对抗训练目标和 TRADES 目标。我们的自适应网络还优于参数多 1.5 倍的更宽非自适应架构。我们进一步在对抗训练中引入了若干实用的“技巧”以提升鲁棒性，并通过实验验证了它们的有效性。
引用
@article{arxiv.2006.00387,
title = {Exploring Model Robustness with Adaptive Networks and Improved Adversarial Training},
author = {Zheng Xu and Ali Shafahi and Tom Goldstein},
journal= {arXiv preprint arXiv:2006.00387},
year = {2020}
}