浅层神经网络的非空泛化界
机器学习
2022-10-21 v3 机器学习
摘要
我们关注一类特定的单隐藏层浅层神经网络，即那些具有 -归一化数据以及 sigmoid 形高斯误差函数（“erf”）激活或高斯误差线性单元（GELU）激活的网络。对于这些网络，我们通过 PAC-Bayesian 理论推导新的泛化界；与大多数现有此类界不同，它们适用于具有确定性而非随机化参数的神经网络。当网络在 MNIST 和 Fashion-MNIST 上用朴素随机梯度下降训练时，我们的界在经验上是非空泛的。
引用
@article{arxiv.2202.01627,
title = {Non-Vacuous Generalisation Bounds for Shallow Neural Networks},
author = {Felix Biggs and Benjamin Guedj},
journal= {arXiv preprint arXiv:2202.01627},
year = {2022}
}
备注
19 pages, 12 figures