一种次线性对抗训练算法

对抗训练是一种广泛使用的使神经网络抵抗对抗扰动的策略。对于宽度为 $m$、有 $n$ 个 $d$ 维输入训练数据的神经网络，每次训练迭代的前向与反向计算需要 $\Omega(mnd)$ 的时间代价。在本文中，我们分析了具有偏移 ReLU 激活的两层神经网络的对抗训练过程的收敛保证，并表明每次迭代每个输入数据仅有 $o(m)$ 个神经元被激活。此外，我们通过应用半空间报告数据结构，开发了一种每次迭代时间代价为 $o(m n d)$ 的对抗训练算法。