使用隐式先验和扩散后验抽样的灵活贝叶斯最后一层模型
机器学习
2024-08-08 v1 人工智能
机器学习
摘要
贝叶斯最后一层 (Bayesian Last Layer, BLL) 模型仅关注神经网络输出层的不确定性，表现出与更复杂贝叶斯模型相当的性能。然而，针对非高斯、异常值丰富或高维数据集，贝叶斯最后一层 (BLL) 模型中用于最后一层权重的高斯先验会限制其表达能力。为克服这一不足，我们提出了一种新方法，结合扩散技术和隐式先验，用于贝叶斯最后一层权重的变分学习。该方法利用隐式分布来建模 BLL 中的权重先验，同时采用扩散采样器来逼近真实后验预测，从而建立起完整的贝叶斯先验和后验估计策略。通过提供显式且计算高效的变分下界，该方法旨在增强 BLL 模型的表达能力，提高模型的准确性、校准水平和外分布检测能力。通过详细的探索和实验验证，我们展示了该方法在提高预测准确性和不确定性量化方面的潜力，同时确保计算效率。
引用
@article{arxiv.2408.03746,
title = {Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling},
author = {Jian Xu and Zhiqi Lin and Shigui Li and Min Chen and Junmei Yang and Delu Zeng and John Paisley},
journal= {arXiv preprint arXiv:2408.03746},
year = {2024}
}