深度 ReLU 网络先验预测分布的精确刻画
机器学习
2021-10-29 v2
摘要
近期关于贝叶斯神经网络（BNNs）的工作凸显了更好理解将高斯先验与网络架构的组合结构结合使用之含义的必要性。类似于为设计更好的神经网络初始化方案（参见 He 或 Xavier 初始化）而发展的分析精神，我们推导了具有高斯权重的有限宽度 ReLU 网络的先验预测分布的精确刻画。尽管已有关于其重尾性的理论结果，但先验预测分布（即其密度、CDF 和矩）的完整刻画在此工作之前仍属未知。我们基于 Meijer-G 函数的分析使我们能够量化诸如网络宽度或深度等架构选择对先验预测分布最终形状的影响。我们还正式地将我们的结果与无限宽度设定的先前工作相联系，证明在无限深度极限下该分布的矩收敛于正态-对数正态混合的矩。最后，我们的结果为先验设计提供了宝贵指导：例如，用深度和宽度知情的权重先验来控制预测方差。
引用
@article{arxiv.2106.06615,
title = {Precise characterization of the prior predictive distribution of deep ReLU networks},
author = {Lorenzo Noci and Gregor Bachmann and Kevin Roth and Sebastian Nowozin and Thomas Hofmann},
journal= {arXiv preprint arXiv:2106.06615},
year = {2021}
}