半隐式混合梯度方法及其在对抗鲁棒性中的应用

对抗样本通过对自然输入添加难以察觉的扰动即可轻易欺骗深度神经网络（DNNs）。训练具有对抗鲁棒性的DNNs最成功的方法之一，是用对抗训练（AT）算法求解一个非凸-非凹极小极大问题。然而，在众多AT算法中，仅有动态AT（DAT）与You Only Propagate Once（YOPO）能保证收敛到驻点。本工作中，我们推广随机原始-对偶混合梯度算法，发展出用于求非凸-非凹极小极大问题驻点的半隐式混合梯度方法（SI-HGs）。SI-HGs具有收敛速率$O(1/K)$，优于DAT与YOPO的速率$O(1/K^{1/2})$。我们设计了SI-HGs的一个实用变体，并表明其在收敛速度与鲁棒性方面优于其他AT算法。