深度学习中的鲁棒性：好（宽度）、坏（深度）与丑（初始化）
机器学习
2023-02-13 v4 人工智能
摘要
我们研究了深度神经网络在（选定的）宽与窄、深与浅，以及懒惰与非懒惰训练设定下的平均鲁棒性概念。我们证明，在欠参数化设定下，宽度具有负面效应，而在过参数化设定下它改善鲁棒性。深度的影响密切依赖于初始化与训练模式。特别地，当使用LeCun初始化时，深度在懒惰训练机制下有助于鲁棒性。相反，当使用神经切线核（NTK）和He初始化时，深度损害鲁棒性。此外，在非懒惰训练机制下，我们展示了两层ReLU网络的宽度如何有益于鲁棒性。我们的理论进展改进了[Huang et al. NeurIPS21; Wu et al. NeurIPS21]的结果，并与[Bubeck and Sellke NeurIPS21; Bubeck et al. COLT21]一致。
引用
@article{arxiv.2209.07263,
title = {Robustness in deep learning: The good (width), the bad (depth), and the ugly (initialization)},
author = {Zhenyu Zhu and Fanghui Liu and Grigorios G Chrysos and Volkan Cevher},
journal= {arXiv preprint arXiv:2209.07263},
year = {2023}
}
备注
Accepted in NeurIPS 2022