高斯误差线性单元 (GELUs)

我们提出高斯误差线性单元（Gaussian Error Linear Unit, GELU），这是一种高性能的神经网络激活函数。GELU 激活函数为 $x\Phi(x)$，其中 $\Phi(x)$ 为标准高斯累积分布函数。GELU 非线性根据输入值对输入赋予权重，而非像 ReLU（$x\mathbf{1}_{x>0}$）那样根据输入符号进行门控。我们对 GELU 非线性相对于 ReLU 和 ELU 激活函数进行了实证评估，并在所有考虑的计算机视觉、自然语言处理和语音任务中均发现性能提升。