深度学习中的 GELU 激活函数：全面的数学分析与性能
机器学习
2023-08-02 v2 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
选择最合适的激活函数是深度学习模型有效性的关键因素，因为它影响模型的学习能力、稳定性和计算效率。近年来，高斯误差线性单元（GELU）激活函数已成为一种主导方法，在多种应用中超越了整流线性单元（ReLU）等传统函数。本研究对 GELU 激活函数进行了严格的数学探究，详细考察其可微性、有界性、驻点性和平滑性性质。此外，我们利用在 CIFAR-10、CIFAR-100 和 STL-10 数据集上训练的余卷积网络作为实证测试平台，将 GELU 函数与广泛的替代激活函数进行了大量实验比较。我们的结果表明 GELU 相较于其他激活函数具有更优性能，确立了其适用于广泛深度学习应用的特性。本综合研究有助于更深刻理解 GELU 的潜在数学性质，并为旨在选择最符合其特定目标与约束的激活函数的从业者提供了宝贵见解。
引用
@article{arxiv.2305.12073,
title = {GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance},
author = {Minhyeok Lee},
journal= {arXiv preprint arXiv:2305.12073},
year = {2023}
}