深度学习中用于不确定性校准的平稳激活函数
机器学习
2020-10-20 v1
摘要
我们引入一类新的非线性神经网络激活函数，其模拟了高斯过程（GP）模型中广泛使用的 Matérn 核族所诱导的性质。该类涵盖了一系列具有不同均方可微程度的局部平稳模型。我们展示了在网络由单个无限宽隐藏层构成时与相应 GP 模型的显式联系。在无限光滑极限下，Matérn 族退化为 RBF 核，此时我们恢复了 RBF 激活。Matérn 激活函数具有与其 GP 模型中对应物类似的良好性质，并且我们证明局部平稳性结合有限的均方可微性在贝叶斯深度学习任务中展现出良好的性能与不确定性校准。特别地，局部平稳性有助于校准分布外（OOD）不确定性。我们在分类与回归基准以及一个雷达辐射源分类任务上展示了这些性质。
引用
@article{arxiv.2010.09494,
title = {Stationary Activations for Uncertainty Calibration in Deep Learning},
author = {Lassi Meronen and Christabella Irwanto and Arno Solin},
journal= {arXiv preprint arXiv:2010.09494},
year = {2020}
}
备注
To appear in Advances in Neural Information Processing Systems (NeurIPS 2020)