基于切丛敏感性的 ReLU 网络依赖优化的泛化界
机器学习
2023-12-05 v2 人工智能
摘要
深度学习的近期进展在深度神经网络的泛化能力方面给出了一些非常有前景的结果，然而文献仍缺乏一个综合理论来解释为何重度过参数化模型能够在拟合训练数据的同时良好泛化。本文通过估计由初始参数向量经梯度下降可得的网络集合的 Rademacher 复杂度，提出了前馈 ReLU 网络泛化误差的一个 PAC 类型界。其核心思想是在优化轨迹上界定网络梯度对输入数据扰动的敏感性。所得界不显式依赖于网络的深度。我们的结果在 MNIST 与 CIFAR-10 数据集上进行了实验验证。
引用
@article{arxiv.2310.17378,
title = {Optimization dependent generalization bound for ReLU networks based on sensitivity in the tangent bundle},
author = {Dániel Rácz and Mihály Petreczky and András Csertán and Bálint Daróczy},
journal= {arXiv preprint arXiv:2310.17378},
year = {2023}
}
备注
17 pages, 5 figures, OPT2023: 15th Annual Workshop on Optimization for Machine Learning at the 37th NeurIPS 2023, New Orleans, LA, USA