探索对抗鲁棒性的超参数景观
机器学习
2019-05-13 v1 机器学习
摘要
对抗训练作为一种训练对对抗扰动具有鲁棒性模型的方法展现出前景。本文中，我们探讨对抗训练的一些实际挑战。我们给出一项敏感性分析，说明对抗训练的有效性取决于少数几个显著超参数的设置。我们表明，在这些显著参数上浮现的鲁棒性曲面可能出乎意料地复杂，因此不存在有效的“一刀切”参数设置。接着我们证明，可将相同的显著超参数用作调节旋钮，以应对鲁棒性与准确率之间可能出现的张力。基于这些发现，我们提出一种实用方法，利用超参数优化技术来调整对抗训练，以在定义预算内保持准确率损失的同时最大化鲁棒性。
引用
@article{arxiv.1905.03837,
title = {Exploring the Hyperparameter Landscape of Adversarial Robustness},
author = {Evelyn Duesterwald and Anupama Murthi and Ganesh Venkataraman and Mathieu Sinn and Deepak Vijaykeerthy},
journal= {arXiv preprint arXiv:1905.03837},
year = {2019}
}