无限宽深度神经网络中的稀疏性-深度权衡
机器学习
2023-05-19 v1 无序系统与神经网络
神经元与认知
摘要
我们研究了在宽度极限下，稀疏神经活动如何影响深度贝叶斯神经网络的泛化性能。为此，我们推导了具有修正线性单元（ReLU）激活函数和预定比例活跃神经元的神经网络高斯过程（NNGP）核。使用该NNGP核，我们观察到在多个数据集上，较浅深度时稀疏网络优于非稀疏网络。我们通过扩展现有关于核岭回归泛化误差的理论验证了这一观察。
引用
@article{arxiv.2305.10550,
title = {Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks},
author = {Chanwoo Chun and Daniel D. Lee},
journal= {arXiv preprint arXiv:2305.10550},
year = {2023}
}