面向鲁棒不确定性估计的随机激活函数方法
机器学习
2023-03-01 v1 机器学习
摘要
深度神经网络因其在许多数据驱动应用中的优异表现而成为机器学习关注的焦点。然而，当在分布外数据点上进行查询时，它们可能导致不准确的预测，这在医疗和交通等敏感领域尤其会产生有害影响，因为错误的预测可能代价极高和/或十分危险。随后，量化神经网络输出的不确定性常被用来评估其预测的置信度，而集成模型已证明可通过利用一组模型中预测的方差来有效度量不确定性。在本文中，我们提出一种通过集成进行不确定性量化的新方法，称为随机激活函数（RAFs）集成，其旨在通过将每个神经网络配备不同的（随机）激活函数，来改善集成多样性从而实现更鲁棒的估计。广泛的实证研究表明，在一系列回归任务中，RAFs集成在合成与真实世界数据集上均优于最先进的集成不确定性量化方法。
引用
@article{arxiv.2302.14552,
title = {Toward Robust Uncertainty Estimation with Random Activation Functions},
author = {Yana Stoyanova and Soroush Ghandi and Maryam Tavakol},
journal= {arXiv preprint arXiv:2302.14552},
year = {2023}
}
备注
Published at AAAI 2023, the Thirty-Seventh AAAI Conference on Artificial Intelligence