关于深度神经网络更紧的泛化界：CNN、ResNet 及更一般情形
机器学习
2019-07-05 v4 机器学习
摘要
我们针对一般深度神经网络族，基于间隔建立了依赖于数据、以深度和宽度以及网络雅可比矩阵表示的泛化误差界。通过引入对神经网络族 Lipschitz 性质的新刻画，我们获得了比现有结果显著更紧的泛化界。此外，我们证明对于有界损失，该泛化界可进一步改进。除一般前馈深度神经网络外，我们的结果可应用于推导流行架构的新界，包括卷积神经网络（CNN）和残差网络（ResNet）。在与先前工作取得相同泛化误差时，我们的界允许选择更大的权重矩阵参数空间，从而潜在地增强神经网络的表达能力。我们还提供了数值评估以支持我们的理论。
引用
@article{arxiv.1806.05159,
title = {On Tighter Generalization Bound for Deep Neural Networks: CNNs, ResNets, and Beyond},
author = {Xingguo Li and Junwei Lu and Zhaoran Wang and Jarvis Haupt and Tuo Zhao},
journal= {arXiv preprint arXiv:1806.05159},
year = {2019}
}