关于神经网络 Lipschitz 连续性的若干基本方面
机器学习
2024-05-16 v4 机器学习
摘要
Lipschitz 连续性是任何预测模型的关键函数性质，天然地控制其鲁棒性、泛化能力以及对抗脆弱性。与其他聚焦于获得更紧界并开发不同实用策略以强制某些 Lipschitz 性质的工作相反，我们旨在彻底考察并刻画神经网络的 Lipschitz 行为。为此，我们在一系列不同设定（即架构、数据集、标签噪声等）中通过穷尽最简单与最一般下界和上界的极限来进行实证研究。作为该研究的亮点，我们展示了下 Lipschitz 界显著的保真度，识别出 Lipschitz 上下界中惊人的双下降趋势，并解释了标签噪声对函数平滑度与泛化的有趣影响。
引用
@article{arxiv.2302.10886,
title = {Some Fundamental Aspects about Lipschitz Continuity of Neural Networks},
author = {Grigory Khromov and Sidak Pal Singh},
journal= {arXiv preprint arXiv:2302.10886},
year = {2024}
}