仅传播一次：通过极大值原理加速对抗训练
机器学习
2019-11-04 v6 机器学习
最优化与控制
摘要
深度学习在计算机视觉与自然语言处理的诸多任务中取得了最先进的结果。然而，近期工作表明深度网络可能易受对抗扰动的影响，这引发了深度网络严重的鲁棒性问题。对抗训练通常表述为一个鲁棒优化问题，是提升深度网络鲁棒性的有效手段。现有对抗训练算法的一个主要缺陷是对抗样本生成的计算开销，通常远大于网络训练本身，这导致对抗训练的总体计算成本难以承受。本文中，我们表明对抗训练可视为一个离散时间微分博弈。通过分析该问题的 Pontryagin 极大值原理（PMP），我们观察到对抗更新仅与网络第一层的参数耦合。这启发我们在对抗更新期间将大多数前向与反向传播限制在网络第一层内。这有效将每组对抗更新的完整前向与反向传播总数减少至仅一次。因此，我们称该算法为 YOPO（You Only Propagate Once，仅传播一次）。数值实验表明，YOPO 能以约投影梯度下降（PGD）算法 1/5 ~ 1/4 的 GPU 时间取得可比的防御精度。我们的代码见 https://https://github.com/a1600012888/YOPO-You-Only-Propagate-Once。
引用
@article{arxiv.1905.00877,
title = {You Only Propagate Once: Accelerating Adversarial Training via Maximal Principle},
author = {Dinghuai Zhang and Tianyuan Zhang and Yiping Lu and Zhanxing Zhu and Bin Dong},
journal= {arXiv preprint arXiv:1905.00877},
year = {2019}
}
备注
Accepted as a conference paper at NeurIPS 2019