适度自适应线性单元（MoLU）
机器学习
2025-07-16 v7 人工智能
计算机科学与博弈论
神经与进化计算
摘要
我们提出适度自适应线性单元（MoLU），一种用于深度神经网络的新颖激活函数，解析定义为：f(x)=x \times (1+tanh(x))/2。MoLU将数学简洁性与实证有效性相结合，在预测精度、收敛速度与计算效率方面表现出优越性能。由于其C无穷光滑性，即无限可微与解析性，MoLU有望缓解梯度消失或爆炸等问题，使其适用于广泛架构与应用，包括大语言模型（LLMs）、神经常微分方程（Neural ODEs）、物理信息神经网络（PINNs）和卷积神经网络（CNNs）。实证评估表明，相对于GeLU、SiLU和Mish等广泛使用的激活函数，MoLU始终实现更快收敛与更高的终态精度。这些特性使MoLU成为跨多种深度学习范式的通用激活函数中一个有前景且鲁棒的候选者。
引用
@article{arxiv.2302.13696,
title = {Moderate Adaptive Linear Units (MoLU)},
author = {Hankyul Koh and Joon-hyuk Ko and Wonho Jhe},
journal= {arXiv preprint arXiv:2302.13696},
year = {2025}
}
备注
8 pages, 10 figures