对抗训练的窍门集
机器学习
2021-04-01 v3 计算机视觉与模式识别
机器学习
摘要
对抗训练(AT)是提升模型鲁棒性最有效的策略之一。然而，近期基准测试表明，大多数提出的AT改进方法不如简单地早停训练过程有效。这一反直觉事实促使我们调查数十种AT方法的实现细节。令人惊讶的是，我们发现这些方法使用的基础设置(如权重衰减、训练调度等)高度不一致。本工作中，我们在CIFAR-10上提供了综合评估，聚焦于被忽视的对抗训练模型的训练窍门与超参数的影响。我们的经验观察表明，对抗鲁棒性比我们设想的对某些基础训练设置敏感得多。例如，略微不同的权重衰减值可使模型鲁棒准确率降低超过7%，这可能掩盖所提方法带来的潜在提升。我们总结了一个基线训练设置并重新实现先前的防御方法以取得新的SOTA结果。这些事实也呼吁在基准测试防御时更多关注被忽视的混杂因素。
引用
@article{arxiv.2010.00467,
title = {Bag of Tricks for Adversarial Training},
author = {Tianyu Pang and Xiao Yang and Yinpeng Dong and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2010.00467},
year = {2021}
}
备注
ICLR 2021