概率神经网络异方差不确定性估计的隐患
机器学习
2022-04-04 v2 机器学习
摘要
捕捉偶然不确定性是许多机器学习系统的关键部分。在深度学习中，一种常见方法是训练神经网络，通过最大化观测数据下对数似然函数来估计异方差高斯分布的参数。在本工作中，我们审视该方法并识别与将对数似然同基于梯度的优化器结合使用相关的潜在隐患。首先，我们给出一个合成示例，说明该方法如何导致非常差但稳定的参数估计。其次，我们确定原因为对数似然损失，以及加剧该问题的某些条件。第三，我们提出一种替代公式，称为 -NLL，其中每个数据点对损失的贡献由 次幂的方差估计加权。我们展示使用适当的 在很大程度上缓解了我们示例中的问题。第四，我们在一系列领域和任务上评估该方法，并展示其在预测 RMSE 和对数似然准则上均取得显著改进且对超参数更鲁棒。
引用
@article{arxiv.2203.09168,
title = {On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks},
author = {Maximilian Seitzer and Arash Tavakoli and Dimitrije Antic and Georg Martius},
journal= {arXiv preprint arXiv:2203.09168},
year = {2022}
}
备注
ICLR 2022 camera-ready version. Code available at http://github.com/martius-lab/beta-nll