通过习得优化器改进对抗训练
机器学习
2020-04-28 v1 密码学与安全
机器学习
摘要
对抗攻击近来已成为对深度学习模型的巨大威胁。为提升机器学习模型的鲁棒性，表述为极小极大优化问题的对抗训练被公认为最有效的防御机制之一。然而，非凸非凹性质给极小极大训练带来巨大挑战。本文通过实验表明，常用的 PGD 攻击对于内部最大化可能并非最优，而改进的内部优化器可带来更鲁棒的模型。随后我们利用学习到学习（L2L）框架训练基于循环神经网络的优化器，为内部问题自适应地提供更新方向与步长。通过联合训练优化器参数与模型权重，所提框架在基于 PGD 的对抗训练与 TRADES 之上持续提升模型鲁棒性。
引用
@article{arxiv.2004.12227,
title = {Improved Adversarial Training via Learned Optimizer},
author = {Yuanhao Xiong and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2004.12227},
year = {2020}
}