Nish:一种新颖的负向激励混合激活函数
机器学习
2022-12-20 v3 人工智能
计算机视觉与模式识别
神经与进化计算
图像与视频处理
信号处理
摘要
激活函数对神经网络的效率与鲁棒性有显著影响。作为替代方案,我们演化出一种前沿的非单调激活函数——负向激励混合激活函数(Negative Stimulated Hybrid Activation Function, Nish)。其在正区域充当修正线性单元(Rectified Linear Unit, ReLU)函数,在负区域充当正弦- sigmoid函数。换言之,它结合了sigmoid与正弦函数,相较经典ReLU获得了新动力学特性。我们使用多个最流行基准,分析了Nish在不同基础网络与最常见激活函数组合下的一致性。实验结果表明,Nish在分类任务上取得的准确率略优于Mish。
引用
@article{arxiv.2210.09083,
title = {Nish: A Novel Negative Stimulated Hybrid Activation Function},
author = {Yildiray Anagun and Sahin Isik},
journal= {arXiv preprint arXiv:2210.09083},
year = {2022}
}
备注
10 pages, 2 figures, 2 tables