多层随机ReLU网络中的对抗样本
机器学习
2021-06-25 v1 人工智能
机器学习
摘要
我们考虑具有独立高斯参数的ReLU网络中的对抗样本现象。对于恒定深度且宽度范围较大的网络（例如，只要每一层的宽度是任何其他层宽度的多项式即可），输入向量的微小扰动会导致输出的巨大变化。这推广了Daniely和Schacham（2020）关于宽度快速递减网络以及Bubeck等人（2021）关于两层网络的结果。证明表明，这些网络中出现对抗样本是因为它们所计算的函数非常接近线性。网络中的瓶颈层起着关键作用：网络至某一节点前的最小宽度决定了至该节点前所计算映射的尺度和敏感性。主要结果针对恒定深度网络，但我们也表明此类结果对深度存在一定约束的必要性，因为存在适当深的网络以恒定概率计算出接近常数的函数。
引用
@article{arxiv.2106.12611,
title = {Adversarial Examples in Multi-Layer Random ReLU Networks},
author = {Peter L. Bartlett and Sébastien Bubeck and Yeshwanth Cherapanamjeri},
journal= {arXiv preprint arXiv:2106.12611},
year = {2021}
}