深入考察偶然与认知不确定性的解耦
机器学习
2022-04-21 v1 计算机视觉与模式识别
摘要
神经网络在许多任务中无处不在,但信任其预测仍是一个开放问题。许多应用都需要不确定性量化,而解耦的偶然不确定性(aleatoric uncertainty)与认知不确定性(epistemic uncertainty)最为理想。本文中,我们推广了产生解耦不确定性的方法,使其适用于不同的不确定性量化方法,并评估它们产生解耦不确定性的能力。我们的结果表明:学习偶然不确定性与认知不确定性之间存在交互作用,这出乎意料且违背了关于偶然不确定性的假设;某些方法如 Flipout 产生零认知不确定性;在分布外设置中偶然不确定性不可靠;集成(Ensembles)总体上提供最佳的解耦质量。我们还探讨了采样 softmax 函数中样本数超参数所带来的误差,建议取 N > 100 个样本。我们期望我们的公式与结果能帮助从业者与研究者选择不确定性方法并扩展解耦不确定性的使用,同时激励该主题的进一步研究。
引用
@article{arxiv.2204.09308,
title = {A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement},
author = {Matias Valdenegro-Toro and Daniel Saromo},
journal= {arXiv preprint arXiv:2204.09308},
year = {2022}
}
备注
8 pages, 12 figures, with supplementary. LatinX in CV Workshop @ CVPR 2022 Camera Ready