单步梯度下降在随机两层神经网络上找到对抗样本
机器学习
2021-04-13 v2 密码学与安全
机器学习
摘要
Daniely 和 Schacham 最近证明，梯度下降在随机欠完备两层 ReLU 神经网络上找到对抗样本。术语“欠完备”指的是他们的证明仅当神经元数量是环境维数趋于零的比例时才成立。我们将他们的结果推广到过完备情形，其中神经元数量大于维度（但关于维度仍为亚指数）。事实上我们证明单步梯度下降已足够。我们还对具有光滑激活函数的任意亚指数宽度随机神经网络证明了此结果。
引用
@article{arxiv.2104.03863,
title = {A single gradient step finds adversarial examples on random two-layers neural networks},
author = {Sébastien Bubeck and Yeshwanth Cherapanamjeri and Gauthier Gidel and Rémi Tachet des Combes},
journal= {arXiv preprint arXiv:2104.03863},
year = {2021}
}
备注
Added a comment about universal adversarial perturbations. 18 pages, 7 figures