狭窄宽度极限下的贝叶斯并行分支神经网络
机器学习
2025-03-11 v3 人工智能
摘要
随机神经网络的无限宽度极限已知会导致神经网络作为高斯过程 (NNGP)，其特征由任务无关的核函数决定。广泛接受的观点是更大的网络宽度有助于改进泛化性能。然而，本工作通过研究贝叶斯并行分支神经网络 (BPB-NN) 的狭窄宽度极限来挑战这一观点，这种体系结构类似于具有残差块的神经网络。我们证明，当 BPB-NN 的宽度显著小于训练样本数时，每个分支因在核重整合中的对称性破坏而表现出更稳健的学习能力。令人惊讶的是，BPB-NN 在狭窄宽度极限下的性能通常优于或相当于宽宽度极限下的性能，尤其是在受偏置限制的情景下。此外，每个分支的读取范数在狭窄宽度极限下大多独立于网络结构超参数，但通常反映了数据的本质特征。我们主要在分支图神经网络中证明了这一现象，其中每个分支代表对图的不同顺序卷积；我们还将结果扩展到其他更通用的体系结构，如残差-MLP，证明狭窄宽度效应是分支网络的通用特征。我们的结果为一般情况下的并行分支网络定义了一个新型的狭窄宽度范围。
关键词
引用
@article{arxiv.2407.18807,
title = {When narrower is better: the narrow width limit of Bayesian parallel branching neural networks},
author = {Zechen Zhang and Haim Sompolinsky},
journal= {arXiv preprint arXiv:2407.18807},
year = {2025}
}