深层集成与贝叶斯主义不确定性：频率主义视角
机器学习
2026-02-10 v3 人工智能
机器学习
统计理论
统计理论
摘要
将预测不确定性分解为可归约的阿尔法特里克 (不可约) 和贝叶斯主义 (可归约) 组成，对机器学习系统的可靠部署至关重要。虽然响应变量与模型参数之间的互信息是贝叶斯主义不确定性的原则性度量，但需要获取参数后验，这在计算上具有挑战性。因此，实践者常常依赖深层集成的概率预测来量化不确定性，这些预测在经验上表现良好。然而， 从频率主义视角理解它们的成功仍有限。我们通过首先考虑基于 bootstrap 的贝叶斯主义不确定性估计器，我们证明了其渐近正确性。接下来，我们将深层集成与 bootstrap 估计器联系起来，通过将其分解为数据波动和训练随机性；具体我们显示，深层集成捕获了训练随机性组成部分。通过经验研究，我们显示，这种随机性组成部分构成了贝叶斯主义不确定性的绝大部分，从而解释了深层集成的有效性。
引用
@article{arxiv.2510.22063,
title = {Deep Ensembles for Epistemic Uncertainty: A Frequentist Perspective},
author = {Anchit Jain and Stephen Bates},
journal= {arXiv preprint arXiv:2510.22063},
year = {2026}
}