参数化泄漏Tanh：一种用于深度学习的新混合激活函数
机器学习
2023-10-13 v1 神经与进化计算
摘要
激活函数（AFs）是深度神经网络（DNNs）的关键组成部分，对其性能有显著影响。DNN中的激活函数通常是一个平滑的非线性函数，将输入信号转换为供下一层使用的输出信号。在本文中，我们提出参数化泄漏Tanh（PLTanh），一种旨在结合Tanh和泄漏ReLU（LReLU）激活函数优势的新型混合激活函数。PLTanh在所有点可微，并通过确保负输入具有非零梯度来解决“ReLU死亡”问题，这与LReLU的行为一致。通过整合这两种不同激活函数的独特优势，PLTanh促进了网络内更复杂非线性关系的学习。本文利用五个不同数据集，对PLTanh与已有的激活函数（即ReLU、LReLU和ALReLU）进行了实证评估。
引用
@article{arxiv.2310.07720,
title = {Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning},
author = {Stamatis Mastromichalakis},
journal= {arXiv preprint arXiv:2310.07720},
year = {2023}
}
备注
11 pages,2 figures,1 table,1 Python code snippets