TSSR：一种用于神经网络的截断带符号平方根激活函数
计算机视觉与模式识别
2023-08-10 v1 计算与语言
机器学习
神经与进化计算
摘要
激活函数是神经网络的基本组成部分。在本文中，我们引入一种称为截断带符号平方根（TSSR）函数的新型激活函数。该函数的独特之处在于它是奇函数、非线性、单调且可微的。其梯度连续且恒为正。得益于这些性质，它有可能改善神经网络的数值稳定性。若干实验证实，所提出的 TSSR 比其他最先进的激活函数具有更好的性能。所提函数对神经网络模型的发展具有重要意义，并可应用于计算机视觉、自然语言处理和语音识别等领域的广泛任务中。
引用
@article{arxiv.2308.04832,
title = {TSSR: A Truncated and Signed Square Root Activation Function for Neural Networks},
author = {Yuanhao Gong},
journal= {arXiv preprint arXiv:2308.04832},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2307.16389