克服线性整流器中的过拟合与大权重更新问题：阈值化指数整流线性单元
机器学习
2020-06-05 v1 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
过去几年中，线性整流单元激活函数在神经网络中展现出重要性，性能超越 sigmoid 激活。RELU (Nair & Hinton, 2010)、ELU (Clevert et al., 2015)、PRELU (He et al., 2015)、LRELU (Maas et al., 2013)、SRELU (Jin et al., 2016)、ThresholdedRELU，所有这些线性整流激活函数在某些方面各有其重要性。大多数时候，这些激活函数因非零输出均值而遭受偏置偏移问题，并因单位梯度在深度复杂网络中遭遇高权重更新问题，分别导致训练变慢与模型预测高方差。本文提出“阈值化指数整流线性单元”（TERELU）激活函数，其在缓解过拟合与大权重更新问题上表现更优。除缓解过拟合问题外，与其他线性整流器相比，该方法还提供了良好的非线性。我们将展示在多个数据集上使用神经网络时，采用 TERELU 激活方法相对于其他激活的更优性能。
引用
@article{arxiv.2006.02797,
title = {Overcoming Overfitting and Large Weight Update Problem in Linear Rectifiers: Thresholded Exponential Rectified Linear Units},
author = {Vijay Pandey},
journal= {arXiv preprint arXiv:2006.02797},
year = {2020}
}