通过双曲正切指数线性单元（TeLU）实现稳定鲁棒的深度学习
机器学习
2024-02-06 v1 神经与进化计算
摘要
本文介绍双曲正切指数线性单元（TeLU），一种新颖的神经网络激活函数，表示为 。TeLU旨在通过解决梯度消失和一定程度上梯度爆炸问题，克服ReLU、GELU和Mish等传统激活函数的局限性。我们的理论分析和实证评估表明，TeLU在稳定性和鲁棒性方面优于现有激活函数，有效将激活输出的均值调整至接近零，以增强训练稳定性和收敛性。在包括ResNet-50在内的先进架构上，与流行激活函数（ReLU、GELU、SiLU、Mish、Logish、Smish）的广泛评估表明，即使在针对其他函数优化的超参数条件下，TeLU也表现出更低的方差和优越的性能。在使用CIFAR-10、CIFAR-100和TinyImageNet等具有挑战性数据集的大规模测试中（涵盖860个场景），TeLU始终展现出其有效性，有望成为神经网络激活函数的新标准，提升各种深度学习应用的稳定性和性能。
引用
@article{arxiv.2402.02790,
title = {Stable and Robust Deep Learning By Hyperbolic Tangent Exponential Linear Unit (TeLU)},
author = {Alfredo Fernandez and Ankur Mali},
journal= {arXiv preprint arXiv:2402.02790},
year = {2024}
}