通过奇点分解的变分贝叶斯神经网络
机器学习
2023-02-14 v1 人工智能
机器学习
摘要
本工作中，我们主张奇异学习理论（SLT）的重要性，因其关乎贝叶斯神经网络（BNNs）中变分推断的理论与实践。首先，利用 SLT，我们厘清了围绕下游预测性能（例如通过测试对数预测密度度量）与变分目标之间差异的一些困惑。接着，我们利用针对奇异后验分布的 SLT 修正渐近形式来指导变分族本身的设计。具体而言，我们基于 \citet{bhattacharya_evidence_2020} 提出的理想化变分族进行构建，该变分族在理论上具有吸引力但实践中难以处理。我们的方案成形为一种归一化流，其基分布为经过精心初始化的广义伽马分布。我们开展了实验，将其与典型的的高斯基分布进行比较，并展示了在变分自由能与变分泛化误差方面的改进。
引用
@article{arxiv.2302.06035,
title = {Variational Bayesian Neural Networks via Resolution of Singularities},
author = {Susan Wei and Edmund Lau},
journal= {arXiv preprint arXiv:2302.06035},
year = {2023}
}
备注
32 pages, 13 figures