数据投毒攻击下的深度-2神经网络

在这项工作中，我们研究了在回归设置中训练浅层神经网络时防御数据投毒攻击的可能性。我们专注于为一类深度-2有限宽度神经网络进行监督学习，该类网络包括单滤波器卷积网络。在这类网络中，我们试图在存在恶意预言机的情况下学习网络权重，该预言机在训练期间对真实输出施加随机、有界且加性的对抗性失真。对于我们构建的非梯度随机算法，我们证明了对抗攻击幅度、权重近似精度以及所提算法达到的置信度之间的最坏情况近最优权衡。由于我们的算法使用小批量处理，我们分析了小批量大小如何影响收敛性。我们还展示了如何利用外层权重的缩放来根据攻击概率对抗输出投毒攻击。最后，我们给出了实验证据，证明了我们的算法在不同输入数据分布下（包括重尾分布实例）优于随机梯度下降。