MP-GELU贝叶斯神经网络：基于GELU非线性的矩传播
机器学习
2022-11-28 v1
摘要
贝叶斯神经网络（BNNs）是不确定性量化研究中的重要框架。作为推断方法之一的确定性变分推断，利用矩传播来计算预测分布与目标函数。遗憾的是，在非线性函数（如修正线性单元（ReLU）或sigmoid函数）中推导矩需要进行计算代价高昂的泰勒展开。因此，需要一种比传统函数能实现更快矩传播的新非线性函数。本文提出一种名为矩传播高斯误差线性单元（MP-GELU）的新非线性函数，其能够在BNNs中快速推导一阶与二阶矩。MP-GELU通过对输入统计量施加非线性来实现矩的解析计算，从而减少了非线性函数所需的高计算代价运算。在回归任务的实证实验中，我们观察到所提MP-GELU相比基于ReLU的BNNs具有更高的预测精度、更优的不确定性质量以及更快的执行速度。
引用
@article{arxiv.2211.13402,
title = {MP-GELU Bayesian Neural Networks: Moment Propagation by GELU Nonlinearity},
author = {Yuki Hirayama and Sinya Takamaeda-Yamazaki},
journal= {arXiv preprint arXiv:2211.13402},
year = {2022}
}
备注
9 pages, 1 figures