基于posteriors的可扩展贝叶斯学习
机器学习
2025-04-15 v2 机器学习
摘要
尽管在理论上具有吸引力，但使用现代机器学习模型的贝叶斯学习在计算上具有挑战性，因为它需要近似高维后验分布。在这项工作中，我们(i) 介绍了posteriors，一个易于扩展的PyTorch库，托管通用实现，使贝叶斯学习对大数据和参数规模具有可访问性和可扩展性；(ii) 提出了一个在posteriors中实现的随机梯度马尔可夫链蒙特卡洛的退火框架，该框架可无缝过渡到优化，并揭示了对深度集成的一个微小修改，以确保它们对贝叶斯后验渐近无偏；以及(iii) 通过实验（包括对冷后验效应的研究以及在大语言模型上的应用）展示和比较了贝叶斯近似的实用性。
引用
@article{arxiv.2406.00104,
title = {Scalable Bayesian Learning with posteriors},
author = {Samuel Duffield and Kaelan Donatella and Johnathan Chiu and Phoebe Klett and Daniel Simpson},
journal= {arXiv preprint arXiv:2406.00104},
year = {2025}
}