分布迁移下的不确定性量化
机器学习
2025-12-22 v2 机器学习
摘要
神经网络在做出准确预测方面表现出色，但在训练与测试之间存在协变量分布迁移时，往往难以提供可靠的不确定性估计。为解决这一问题，我们提出一种贝叶斯框架，用于明确考虑协变量迁移的不确定性估计。虽然传统方法依赖固定先验，但我们方法的关键思想是一种自适应先验，条件化于训练数据和新的协变量。这种先验自然地对于位于训练分布之外的输入以及预测性能可能下降的区域增加不确定性。为高效逼近结果后验预测分布，我们采用 amortize 变分推断。最后，我们通过从训练数据中抽取小型 bootstrap 样本来构建合成环境，仅使用原始数据集模拟各种可能的协变量迁移。我们在合成数据和真实数据上对方法进行评估。结果表明，该方法在分布迁移下能显著改进不确定性估计。
引用
@article{arxiv.2506.18283,
title = {Quantifying Uncertainty in the Presence of Distribution Shifts},
author = {Yuli Slavutsky and David M. Blei},
journal= {arXiv preprint arXiv:2506.18283},
year = {2025}
}