面向快速稳定深度学习的 TeLU 激活函数
机器学习
2025-01-03 v2
摘要
我们提出了双曲正切指数线性单元（Hyperbolic Tangent Exponential Linear Unit, TeLU），一种神经网络隐藏激活函数，定义为 TeLU(x)=x\tanh(\exp(x))。TeLU 的设计基于关键激活函数的核心原则，通过在其活跃区域紧密逼近恒等函数实现强收敛，同时在饱和区域有效缓解梯度消失问题。其简单公式提高了计算效率，带来了规模性和收敛速度的改进。与许多现代激活函数不同，TeLU seamless 地将 ReLU 的简单性和有效性与对深度神经网络学习稳定性必需的平滑性和解析性相结合。TeLU 能够模拟 ReLU 的行为和最佳超参数设置，同时引入平滑性和曲率的优势，使其成为理想的即插即用替换品。其解析性质使 TeLU 成为强大的通用逼近器，提升了在各种实验中的鲁棒性和泛化能力。我们通过理论分析和实验验证严格确认了这些主张，展示了 TeLU 在具有挑战性基准上的性能，包括 ImageNet 上的 ResNet18、Text8 上的 Dynamic-Pooling Transformers 以及 Penn TreeBank 数据集上的循环神经网络（RNN）。这些结果凸显了 TeLU 设定深度神经网络学习新标准的潜力，推动更高效、更稳定的学习，加速跨多个领域的科学发现。
引用
@article{arxiv.2412.20269,
title = {TeLU Activation Function for Fast and Stable Deep Learning},
author = {Alfredo Fernandez and Ankur Mali},
journal= {arXiv preprint arXiv:2412.20269},
year = {2025}
}
备注
Updated version of "Stable and Robust Deep Learning By Hyperbolic Tangent Exponential Linear Unit (TeLU)"