AutoDEUQ：具有不确定性量化的自动化深度集成方法
机器学习
2022-07-05 v3
摘要
深度神经网络是适用于多种任务的强大预测器。然而，它们不能直接捕捉不确定性。使用神经网络集成来量化不确定性，在与基于贝叶斯神经网络的方法竞争的同时，还具有更好的计算可扩展性优势。但是，构建神经网络集成是一项具有挑战性的任务，因为除了为每个集成成员选择合适的神经架构或超参数外，还存在训练每个模型的额外代价。我们提出 AutoDEUQ，一种用于生成深度神经网络集成的自动化方法。我们的方法利用联合神经架构与超参数搜索来生成集成。我们使用全方差定律将深度集成的预测方差分解为偶然（数据）不确定性和认知（模型）不确定性。我们表明，在多个回归基准上，AutoDEUQ 优于概率反向传播、蒙特卡洛 dropout、深度集成、无分布集成以及超集成方法。
引用
@article{arxiv.2110.13511,
title = {AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification},
author = {Romain Egele and Romit Maulik and Krishnan Raghavan and Bethany Lusch and Isabelle Guyon and Prasanna Balaprakash},
journal= {arXiv preprint arXiv:2110.13511},
year = {2022}
}