有限贝叶斯神经网络中表征学习的渐近性
机器学习
2022-11-29 v5 无序系统与神经网络
机器学习
摘要
近期工作表明，有限贝叶斯神经网络有时可能优于其无限对应物，因为有限网络可灵活调整其内部表征。然而，我们对有限网络学习到的隐藏层表征与无限网络固定表征的差异的理论理解仍不完整。扰动性的有限宽度对网络先验和后验的修正已被研究，但学习特征的渐近性尚未被充分刻画。在此，我们论证：对于任意具有线性读出和高斯似然的贝叶斯网络，其对平均特征核的领先有限宽度修正具有很大程度的普适形式。我们针对三种可处理网络架构明确说明了这一点：深度线性全连接与卷积网络，以及具有单个非线性隐藏层的网络。我们的结果开始阐明任务相关学习信号如何塑造宽贝叶斯神经网络的隐藏层表征。
引用
@article{arxiv.2106.00651,
title = {Asymptotics of representation learning in finite Bayesian neural networks},
author = {Jacob A. Zavatone-Veth and Abdulkadir Canatar and Benjamin S. Ruben and Cengiz Pehlevan},
journal= {arXiv preprint arXiv:2106.00651},
year = {2022}
}
备注
13+28 pages, 4 figures; v3: extensive revision with improved exposition and new section on CNNs, accepted to NeurIPS 2021; v4: minor updates to supplement; v5: post-NeurIPS update, minor typos fixed