使用 Dirichlet 元模型的后验不确定性学习
机器学习
2022-12-15 v1
摘要
已知神经网络在直接使用输出标签分布生成不确定性度量时存在过度自信的问题。现有方法主要通过重新训练整个模型来赋予不确定性量化能力，从而使所学模型在准确率和不确定性预测上同时达到预期性能。然而，从头训练模型计算开销大，且在许多情况下可能不可行。本工作中，我们考虑一种更实用的后验不确定性学习设定：给定一个训练良好的基模型，我们聚焦于训练第二阶段的量化不确定性任务。我们提出一种新颖的贝叶斯元模型，以更好的不确定性量化能力增强预训练模型，该方法高效且计算节省。我们所提方法无需额外训练数据，且足够灵活以量化不同不确定性并容易适配不同应用设定，包括分布外数据检测、误分类检测与可信迁移学习。我们在多个代表性图像分类基准上展示了所提元模型方法在这些应用中的灵活性与优越经验性能。
引用
@article{arxiv.2212.07359,
title = {Post-hoc Uncertainty Learning using a Dirichlet Meta-Model},
author = {Maohao Shen and Yuheng Bu and Prasanna Sattigeri and Soumya Ghosh and Subhro Das and Gregory Wornell},
journal= {arXiv preprint arXiv:2212.07359},
year = {2022}
}
备注
Accepted by AAAI 2023