随机神经网络 Lipschitz 常数的上下界
机器学习
2025-07-03 v4 机器学习
概率论
摘要
实证研究已广泛表明，神经网络对输入的小规模对抗扰动高度敏感。针对这些所谓对抗样本的最坏情况鲁棒性可由神经网络的 Lipschitz 常数来量化。本文研究随机 ReLU 神经网络 Lipschitz 常数的上下界。具体而言，我们假设权重和偏置遵循 He 初始化的一种推广，其中允许偏置服从一般的对称分布。对于固定深度且宽度足够大的深度网络，我们所建立的上界比下界大一个关于宽度的对数因子。相比之下，对于浅层神经网络，我们在不依赖于所有参数的绝对数值常数范围内刻画了 Lipschitz 常数。
引用
@article{arxiv.2311.01356,
title = {Upper and lower bounds for the Lipschitz constant of random neural networks},
author = {Paul Geuchen and Dominik Stöger and Thomas Telaar and Felix Voigtlaender},
journal= {arXiv preprint arXiv:2311.01356},
year = {2025}
}