最大化整体多样性以改进深度集成中的不确定性估计
机器学习
2020-02-14 v2 机器学习
摘要
神经网络模型对不属于训练数据分布的输入的不准确性既成问题又时常未被察觉。模型不确定性估计可以解决此问题，其中不确定性估计通常基于应用于同一输入的多样化模型集成所产生的预测差异。在此我们描述最大化整体多样性（MOD），一种通过在未来可能遇到的所有可能输入上鼓励集成预测更大的整体多样性来改进基于集成的不确定性估计的直接方法。当应用于各种神经网络集成时，MOD 在 38 个蛋白质-DNA 结合回归数据集、9 个 UCI 数据集和 IMDB-Wiki 图像数据集上显著提升了分布外测试样本的预测性能，且不牺牲分布内性能。在许多贝叶斯优化任务中，利用 MOD 不确定性估计也极大改进了 UCB 获取函数的性能。
引用
@article{arxiv.1906.07380,
title = {Maximizing Overall Diversity for Improved Uncertainty Estimates in Deep Ensembles},
author = {Siddhartha Jain and Ge Liu and Jonas Mueller and David Gifford},
journal= {arXiv preprint arXiv:1906.07380},
year = {2020}
}
备注
10 pages, 3 figures