利用神经元激活强度估计Dropout预测不确定性
机器学习
2022-06-20 v3
摘要
Dropout常被用于量化预测不确定性，即模型在给定输入样本上预测的变化。然而，在实践中使用dropout可能代价高昂，因为它需要多次运行dropout推断。本文研究如何以资源高效的方式估计dropout预测不确定性。我们证明，在不同dropout设置下以及使用MovieLens、Criteo和EMNIST三个大型数据集的多种任务上，可利用神经元激活强度来估计dropout预测不确定性。我们的方法提供了一种单次推断方法来估计dropout预测不确定性，作为一项廉价的辅助任务。我们还证明，使用神经网络部分层的激活特征即足以达到近乎与使用所有层激活特征相当的的不确定性估计性能，从而进一步减少不确定性估计的资源消耗。
引用
@article{arxiv.2110.06435,
title = {Dropout Prediction Uncertainty Estimation Using Neuron Activation Strength},
author = {Haichao Yu and Zhe Chen and Dong Lin and Gil Shamir and Jie Han},
journal= {arXiv preprint arXiv:2110.06435},
year = {2022}
}
备注
8 pages