深度反正则化集成提供可靠的分布外不确定性量化
机器学习
2023-04-11 v1
摘要
我们考虑高维回归与分类中的不确定性量化问题，深度集成已被证明是有前景的方法。最近的观察表明，深度集成在训练域外常返回过度自信的估计，这是一个主要局限，因为分布偏移在真实场景中经常遇到。该问题的主要挑战在于解决增加集成输出多样性与做出准确的分布内预测之间的权衡。在这项工作中，我们表明，一组具有较大权重且拟合训练数据的网络很可能同时满足这两个目标。我们基于一种新颖的反正则化项（惩罚小权重）和一个将分布内损失维持在可接受阈值之下的权重增长控制过程，推导出一种简单实用的方法来生成此类集成。所开发的方法不需要任何分布外训练数据，也不需要任何权衡超参数校准。我们为该方法推导了一个理论框架，并表明所提出的优化可视为一个“注水”问题。在回归和分类设置下的若干实验强调，与近期的深度集成和分布外检测方法相比，深度反正则化集成（DARE）显著改善了训练域外的不确定性量化。所有进行的实验均可复现，源代码可在 \url{https://github.com/antoinedemathelin/DARE} 获取。
引用
@article{arxiv.2304.04042,
title = {Deep Anti-Regularized Ensembles provide reliable out-of-distribution uncertainty quantification},
author = {Antoine de Mathelin and Francois Deheeger and Mathilde Mougeot and Nicolas Vayatis},
journal= {arXiv preprint arXiv:2304.04042},
year = {2023}
}
备注
26 pages, 9 figures