弯曲校准：可信赖的变分贝叶斯方法及其可靠不确定性量化
统计方法学
2025-12-30 v1
摘要
变分贝叶斯（VB）是贝叶斯推断中近似后验分布的流行且计算高效的方法，尤其适用于后验分布解析不可得且基于抽样的方法计算昂贵的情形。尽管VB常常得到准确的点估计，但其不确定性量化（UQ）已知不可靠。例如，基于VB后验推导的可信区间常出现低覆盖现象，未能实现名义上的频率覆盖概率。本文通过提出可信赖变分贝叶斯（TVB）方法，来重新校准广泛类VB程序的UQ。我们的方法遵循“弯曲-修补”策略：刻意误指定likelihood以纠正VB不可靠的UQ。具体而言，我们首先通过建立在最近的分数VB方法基础上来松化VB，然后利用共轭技术（如样本分割和自助法）识别最优分数参数。这一过程为感兴趣的任意参数重新校准了UQ。在理论方面，我们证明校准后的可信区间在感兴趣的给定参数下实现渐近正确的频率覆盖率；这据我们所知是VB首有的此类理论保证。在实践方面，我们引入“TVB表格”，实现（1）大规模并行化且在构建过程中对感兴趣的参数保持agnostic；（2）高效识别感兴趣的任意参数的最优分数参数。本文通过高斯混合模型和贝叶斯混合线性回归模型进行演示，数值实验表明TVB方法优于标准VB，并在有限样本中实现正常的频率覆盖率。还讨论了实际数据应用。
引用
@article{arxiv.2512.22655,
title = {Bend to Mend: Toward Trustworthy Variational Bayes with Valid Uncertainty Quantification},
author = {Jiaming Liu and Meng Li},
journal= {arXiv preprint arXiv:2512.22655},
year = {2025}
}