探索低样本设置下认知不确定性量化的极限
机器学习
2021-11-19 v1 计算机视觉与模式识别
摘要
神经网络中的不确定性量化有望提高 AI 系统的安全性，但尚不清楚其性能如何随训练集大小变化。在本文中，我们在 Fashion MNIST 和 CIFAR10 上评估了七种不确定性方法，通过子采样产生不同的训练集大小。我们发现校准误差与分布外检测性能强烈依赖于训练集大小，大多数方法在训练集较小时在测试集上校准不良。基于梯度的方法似乎较差地估计了认知不确定性，并且受训练集大小影响最大。我们期望我们的结果能指导未来不确定性量化的研究，并帮助实践者根据其特定可用数据选择方法。
引用
@article{arxiv.2111.09808,
title = {Exploring the Limits of Epistemic Uncertainty Quantification in Low-Shot Settings},
author = {Matias Valdenegro-Toro},
journal= {arXiv preprint arXiv:2111.09808},
year = {2021}
}
备注
7 pages, 3 figures, with supplementary material. LatinX in AI Research Workshop @ NeurIPS 2021