通过凸优化进行两层多项式与 ReLU 激活网络的对抗训练

训练对对抗攻击具有鲁棒性的神经网络仍然是深度学习中的一个重要问题，尤其是在安全关键场景中采用高度过参数化模型的情况下。借鉴近期将两层 ReLU 和多项式激活网络的训练问题重新表述为凸规划的工作，我们设计了一种用于两层多项式激活网络对抗训练的凸半定规划（SDP），并证明了该凸 SDP 能达到与其非凸对应问题相同的全局最优解。在多个数据集上观察到，相对于原始的凸训练公式，该凸 SDP 提高了对 $\ell_\infty$ 攻击的鲁棒测试准确率。此外，我们提出了两层多项式和 ReLU 网络对抗训练的可扩展实现，这些实现与标准机器学习库和 GPU 加速兼容。利用这些实现，我们在 CIFAR-10 数据集上分别使用多项式和 ReLU 激活重新训练了 Pre-Activation ResNet-18 模型的最后两个全连接层。这两个“鲁棒化”模型对 $\ell_\infty$ 攻击的鲁棒测试准确率显著高于使用锐度感知最小化训练的 Pre-Activation ResNet-18 模型，证明了凸对抗训练在大规模问题上的实用价值。