具有一般激活函数的随机神经网络中的对抗样本

大量实证文献记录了深度学习模型对对抗样本缺乏鲁棒性。近期的理论工作证明了，在宽度次指数且使用 ReLU 或光滑激活函数的两层网络，以及宽度次指数的多层 ReLU 网络中，对抗样本无处不在。我们给出了同类型的结果，对宽度无限制，且适用于一般局部 Lipschitz 连续激活函数。更确切地说，给定权重为随机参数 ${\boldsymbol \theta}$、特征向量为 ${\boldsymbol x}$ 的神经网络 $f(\,\cdot\,;{\boldsymbol \theta})$，我们证明可以沿梯度方向 $\nabla_{{\boldsymbol x}}f({\boldsymbol x};{\boldsymbol \theta})$ 以高概率找到对抗样本 ${\boldsymbol x}'$。我们的证明基于高斯条件化技术。我们并非证明 $f$ 在 ${\boldsymbol x}$ 的邻域内近似线性，而是刻画了当 ${\boldsymbol x}' = {\boldsymbol x}-s({\boldsymbol x})\nabla_{{\boldsymbol x}}f({\boldsymbol x};{\boldsymbol \theta})$ 时 $f({\boldsymbol x};{\boldsymbol \theta})$ 与 $f({\boldsymbol x}';{\boldsymbol \theta})$ 的联合分布。