贝叶斯神经网络中的摊销推断

Tommy Rochussen

贝叶斯神经网络中的摊销推断

机器学习 2023-09-07 v1 机器学习

作者: Tommy Rochussen

摘要

元学习是一种机器学习框架，其中模型在一组数据集上训练，以便在测试时对新的数据集作出预测。概率元学习近年来受到研究界的广泛关注，但许多现有概率元模型共有的一个问题是：它们需要极大量的数据集才能产生高质量预测与良好校准的不确定性估计。然而，在许多应用中，如此规模的数据根本不可得。在本论文中，我们通过对贝叶斯神经网络中的推断实施逐数据点摊销，提出了一种显著更具数据效率的概率元学习方法，引入了摊销伪观测变分推断贝叶斯神经网络（APOVI-BNN）。首先，我们表明在 our 摊销方案下获得的近似后验与传统变分推断所得者质量相当或更优，尽管摊销推断仅以单次前向传播完成。接着我们讨论如何将 APOVI-BNN 视为神经过程家族的新成员，从而激励使用神经过程训练目标以潜在地在复杂问题上获得更好的预测性能。最后，我们在一维回归问题与显著更复杂的图像补全设定下，将 APOVI-BNN 与其他概率元模型的预测性能进行比较。在两种情况下，当训练数据量有限时，我们的模型在其类别中均为最优。

关键词

贝叶斯神经网络摊销推断概率元学习变分推断神经过程数据效率

引用

@article{arxiv.2309.03018,
  title  = {Amortised Inference in Bayesian Neural Networks},
  author = {Tommy Rochussen},
  journal= {arXiv preprint arXiv:2309.03018},
  year   = {2023}
}

备注

This thesis served as the author's final project report for the University of Cambridge part IIB Engineering Tripos. 37 pages, 7 figures

贝叶斯神经网络中的摊销推断

摘要

关键词

引用

备注

相关论文