APALU：面向深度学习网络的可训练自适应激活函数
机器学习
2025-11-04 v2 神经与进化计算
摘要
激活函数是深度学习的关键组件，有助于提取复杂的数据模式。尽管 ReLU 及其变体等经典激活函数被广泛使用，但其静态特性与简单性虽具优势，却常限制其在专门任务中的有效性。可训练激活函数有时也难以适应数据的独特特征。为解决这些局限性，我们引入了一种新颖的可训练激活函数——自适应分段近似激活线性单元 (APALU)，以在广泛任务中提升深度学习的学习性能。它呈现了一组独特特征，使其在学习过程中保持稳定性与效率的同时，能够适应复杂的数据表示。实验表明，在不同任务上相较于广泛使用的激活函数取得了显著改进。在图像分类中，APALU 在 CIFAR10 数据集上分别将 MobileNet 和 GoogleNet 的准确率提升了 0.37% 和 0.04%。在异常检测中，它在 MNIST 数据集上将 One-CLASS Deep SVDD 的平均曲线下面积提升了 0.8%，并在 MVTech 数据集上分别通过 DifferNet 和知识蒸馏取得了 1.81% 和 1.11% 的提升。值得注意的是，APALU 在数据集受限的手语识别任务中实现了 100% 的准确率。对于回归任务，APALU 在不同数据集上提升了深度神经网络与循环神经网络的性能。这些改进突显了 APALU 在多样化深度学习应用中的鲁棒性与适应性。
引用
@article{arxiv.2402.08244,
title = {APALU: A Trainable, Adaptive Activation Function for Deep Learning Networks},
author = {Barathi Subramanian and Rathinaraja Jeyaraj and Rakhmonov Akhrorjon Akhmadjon Ugli},
journal= {arXiv preprint arXiv:2402.08244},
year = {2025}
}
备注
9 pages, 4 figures