APTx：优于深度学习中使用的 MISH、SWISH 及 ReLU 变体的激活函数
机器学习
2025-09-29 v6 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
激活函数在深度神经网络中引入非线性。这种非线性帮助神经网络从数据集中更快且高效地学习。在深度学习中，许多激活函数根据问题陈述的类型被开发和使用。ReLU 的变体、SWISH 和 MISH 是常用的激活函数。MISH 函数被认为具有与 SWISH 相似甚至更好的性能，且远优于 ReLU。在本文中，我们提出一种名为 APTx 的激活函数，其行为类似于 MISH，但计算所需的数学运算更少。APTx 较低的计算需求确实加快了模型训练速度，从而也降低了深度学习模型的硬件需求。源代码：https://github.com/mr-ravin/aptx_activation
引用
@article{arxiv.2209.06119,
title = {APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning},
author = {Ravin Kumar},
journal= {arXiv preprint arXiv:2209.06119},
year = {2025}
}
备注
8 pages, 6 figures