RBUE：一种基于 ReLU 的深度神经网络不确定性估计方法
机器学习
2021-10-29 v2
摘要
深度神经网络（DNNs）已成功在各种任务中学习到有用的数据表示。然而，评估这些表示的可靠性仍具挑战。Deep Ensemble 被广泛认为是能更高质量估计不确定性的最优方法，但其训练和测试代价十分高昂。MC-Dropout 是另一种流行方法，其代价较低但缺乏预测多样性。为在更短时间内更高质量地估计不确定性，我们引入一种基于 ReLU 的不确定性估计（RBUE）方法。与 MC-Dropout 中随机丢弃部分网络神经元或 Deep Ensemble 中利用网络初始权重的随机性不同，RBUE 将随机性添加到激活函数模块中，使输出具有多样性。在该方法下，我们提出 MC-DropReLU 和 MC-RReLU 两种策略来估计不确定性。我们从方差角度分析并比较了 MC-Dropout 与我们所提方法的输出多样性，得到了两种方法中超参数与预测多样性之间的关系。此外，我们的方法实现简单，无需修改现有模型。我们在三个广泛使用的数据集 CIFAR10、CIFAR100 和 TinyImageNet 上实验验证了 RBUE。实验表明，我们的方法具有竞争性性能，且在训练时间和内存需求上更为有利。
引用
@article{arxiv.2107.07197,
title = {RBUE: A ReLU-Based Uncertainty Estimation Method of Deep Neural Networks},
author = {Yufeng Xia and Jun Zhang and Zhiqiang Gong and Tingsong Jiang and Wen Yao},
journal= {arXiv preprint arXiv:2107.07197},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2012.08334 by other authors