TaLU：结合Tanh与修正线性单元以增强神经网络的混合激活函数
计算机视觉与模式识别
2023-05-22 v2
摘要
深度学习模型在分类中的应用对于目标对象的准确检测起着重要作用。然而，准确率受隐藏层与输出层中激活函数的影响。本文使用一种称为TaLU的激活函数，其由Tanh与修正线性单元（ReLU）组合而成，以改进预测。许多深度学习研究者因ReLU的计算高效、易于实现、直观等特性而采用它。但它存在梯度消亡问题：例如当输入为负时，其输出恒为零，因为梯度为零。不少研究者采用不同方法解决此问题，其中 notable 的包括LeakyReLU、Softplus、Softsign、ELU、ThresholdedReLU等。本研究开发了TaLU，一种结合Tanh与ReLU的改进激活函数，缓解了ReLU的梯度消亡问题。所提激活函数的深度学习模型在MNIST与CIFAR-10上测试，在准确率上优于ReLU及其他若干所研激活函数（多数情况下结合批归一化与合理学习率时提升达6%）。
引用
@article{arxiv.2305.04402,
title = {TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear Unit to Enhance Neural Networks},
author = {Md. Mehedi Hasan and Md. Ali Hossain and Azmain Yakin Srizon and Abu Sayeed},
journal= {arXiv preprint arXiv:2305.04402},
year = {2023}
}