论深度集成多样性在分布外检测中的效用
机器学习
2022-09-21 v2 人工智能
计算机视觉与模式识别
摘要
检测分布外（OOD）数据的能力在深度学习的安全关键应用中十分重要。其目标是利用从深度神经网络提取的不确定性度量，将来自训练分布的分布内（ID）数据与 OOD 数据分离。深度集成（Deep Ensembles）是一种公认的提升深度神经网络不确定性估计质量的方法，且已被证明相比单模型具有更优的 OOD 检测性能。文献中一种已有的直觉是，深度集成预测的差异性指示了分布偏移，因此应使用如互信息（MI）之类的多样性度量进行 OOD 检测。我们通过实验表明，这一直觉在 ImageNet 规模的 OOD 检测上并不成立——在某些 OOD 数据集上，使用 MI 相比单模型熵导致 %FPR@95 差 30-40%。我们为深度集成更优的 OOD 检测性能提供了一种替代解释——OOD 检测是二分类问题，而我们是在集成多样的的分类器。因此我们发现，在实践中，通过对集成取任务特定检测分数（如 Energy）的平均值，深度集成甚至可获得更好的 OOD 检测性能。
引用
@article{arxiv.2207.07517,
title = {On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution Detection},
author = {Guoxuan Xia and Christos-Savvas Bouganis},
journal= {arXiv preprint arXiv:2207.07517},
year = {2022}
}
备注
Workshop on Uncertainty Quantification for Computer Vision, ECCV 2022