对抗训练的损失景观：识别挑战及克服方法
机器学习
2020-11-04 v2 机器学习
摘要
我们分析了对抗训练对机器学习模型损失景观的影响。为此，我们首先对不同对抗预算下对抗损失函数性质提供解析研究。接着我们证明，由于曲率增大与梯度更分散，对抗损失景观对优化较不利。我们的结论通过数值分析得到验证，其显示在大对抗预算下训练会阻碍从次优随机初始化中逃逸、导致非消失梯度并使模型找到更尖锐极小值。基于这些观察，我们展示周期性对抗调度(PAS)策略能有效克服这些挑战，比普通对抗训练取得更好结果，同时对学习率选择敏感得多地降低。
引用
@article{arxiv.2006.08403,
title = {On the Loss Landscape of Adversarial Training: Identifying Challenges and How to Overcome Them},
author = {Chen Liu and Mathieu Salzmann and Tao Lin and Ryota Tomioka and Sabine Süsstrunk},
journal= {arXiv preprint arXiv:2006.08403},
year = {2020}
}