BARNN: 一种贝叶斯自回归与循环神经网络
机器学习
2025-07-22 v2 人工智能
摘要
自回归和循环网络在从天气预报到分子生成和大语言模型等各个领域取得了显著进展。尽管这些模型具有强大的预测能力，但它们缺乏处理不确定性的严格框架，而这在科学应用（如偏微分方程求解、分子生成和机器学习力场）中至关重要。为了解决这一缺陷，我们提出了BARNN：一种变分贝叶斯自回归与循环神经网络。BARNN旨在提供一种原则性方法，将任何自回归或循环模型转换为其贝叶斯版本。BARNN基于变分dropout方法，因此也可应用于大型循环神经网络。我们还引入了“后验变分混合”先验的时间版本（tVAMP先验），以使贝叶斯推断高效且校准良好。在偏微分方程建模和分子生成上的大量实验表明，BARNN不仅在与现有方法相比达到相当或更优的精度，而且在不确定性量化和长程依赖建模方面表现出色。
引用
@article{arxiv.2501.18665,
title = {BARNN: A Bayesian Autoregressive and Recurrent Neural Network},
author = {Dario Coscia and Max Welling and Nicola Demo and Gianluigi Rozza},
journal= {arXiv preprint arXiv:2501.18665},
year = {2025}
}