一次性对抗训练：免代价的鲁棒性与准确率原位权衡
计算机视觉与模式识别
2020-11-11 v2 机器学习
摘要
对抗训练及其众多变体显著提升了深度网络的鲁棒性，却以牺牲标准准确率为代价。此外，训练过程繁重，因此彻底探索准确率与鲁棒性之间的权衡变得不切实际。本文提出一个新问题：如何快速在原位校准一个已训练模型，以考察其标准准确率与鲁棒准确率之间可实现的权衡，而无需多次（重新）训练？我们提出的框架——一次性对抗训练（OAT），构建于一种创新的模型条件训练框架之上，以控制超参数作为输入。训练后的模型可在测试时“免费”在不同标准与鲁棒准确率间调整。作为一个重要旋钮，我们利用双批量归一化分离标准与对抗特征统计量，从而使其能在单一模型中学习而不降低性能。我们进一步将OAT扩展为一次性对抗训练与瘦身（OATS）框架，允许在准确率、鲁棒性与运行效率之间联合权衡。实验表明，在无任何重训练或集成的情况下，OAT/OATS在各种配置下取得了与专门训练模型相当甚至更优的性能。我们的代码与预训练模型可见于：https://github.com/VITA-Group/Once-for-All-Adversarial-Training。
引用
@article{arxiv.2010.11828,
title = {Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free},
author = {Haotao Wang and Tianlong Chen and Shupeng Gui and Ting-Kuei Hu and Ji Liu and Zhangyang Wang},
journal= {arXiv preprint arXiv:2010.11828},
year = {2020}
}
备注
NeurIPS 2020