用于不确定性估计的 Masksembles 方法
机器学习
2021-06-28 v2 计算机视觉与模式识别
摘要
深度神经网络已充分展示了其能力，但估计其预测的可靠性仍具挑战性。深度集成（Deep Ensembles）被广泛认为是最佳的不确定性估计方法之一，但训练和评估代价极高。MC-Dropout 是另一种流行的替代方案，其代价较低，但可靠性也较差。我们的核心直觉是，存在一系列类集成模型谱，其中 MC-Dropout 和深度集成是极端例子。前者使用数量上无限多但高度相关的模型，而后者依赖有限数量的独立模型。为结合两者优势，我们引入 Masksembles。与 MC-Dropout 中随机丢弃网络部分不同，Masksemble 依赖固定数量的二值掩码，其参数化方式允许改变各模型间的相关性。即通过控制掩码间的重叠及其密度，可为当前任务选择最优配置。这带来了一种简单且易于实现的方法，其性能可与集成方法媲美，而成本仅为其一小部分。我们在两个广泛使用的数据集 CIFAR10 和 ImageNet 上实验验证了 Masksembles。
引用
@article{arxiv.2012.08334,
title = {Masksembles for Uncertainty Estimation},
author = {Nikita Durasov and Timur Bagautdinov and Pierre Baque and Pascal Fua},
journal= {arXiv preprint arXiv:2012.08334},
year = {2021}
}