STL：一种用于神经网络的有符号截断对数激活函数
机器学习
2023-08-01 v1 人工智能
计算工程、金融与科学
计算与语言
计算机视觉与模式识别
神经与进化计算
摘要
激活函数在神经网络中起着至关重要的作用。它们为网络提供非线性。因此，它们的性质对神经网络的精度和运行性能十分重要。在本文中，我们提出一种新颖的有符号截断对数函数作为激活函数。所提出的激活函数具有显著更优的数学性质，例如是奇函数、单调、可微、具有无界值域以及连续非零梯度。这些性质使其成为激活函数的极佳选择。我们在多个知名神经网络中将其与其他知名激活函数进行比较。结果证实其达到了当前最优（state-of-the-art, SOTA）。所建议的激活函数可应用于大量需要激活函数的神经网络中。
引用
@article{arxiv.2307.16389,
title = {STL: A Signed and Truncated Logarithm Activation Function for Neural Networks},
author = {Yuanhao Gong},
journal= {arXiv preprint arXiv:2307.16389},
year = {2023}
}