过参数化情形下深度 ReLU 神经网络的贝叶斯自由能
机器学习
2023-04-21 v3 机器学习
摘要
在人工智能的许多研究领域中，深度神经网络已被证明可用于估计高维输入空间上的未知函数。然而，由于其不可辨识且为奇异学习机器，其泛化性能在理论上尚未完全阐明。此外，ReLU 函数不可微，奇异学习理论中的代数或解析方法无法应用于此。本文研究过参数化情形下的深度 ReLU 神经网络，并证明即便层数多于估计未知数据生成函数所需，贝叶斯自由能（等于负对数边际似然或贝叶斯随机复杂度）也是有界的。由于贝叶斯泛化误差等于自由能随样本量增加的增量，我们的结果还表明，即使将深度 ReLU 神经网络设计得足够大或处于过参数化状态，贝叶斯泛化误差也不会增大。
引用
@article{arxiv.2303.15739,
title = {Bayesian Free Energy of Deep ReLU Neural Network in Overparametrized Cases},
author = {Shuya Nagayasu and Sumio Watanabe},
journal= {arXiv preprint arXiv:2303.15739},
year = {2023}
}
备注
20pages, 2figure