模数作为计算机视觉应用中激活函数的实证研究
计算机视觉与模式识别
2023-01-18 v1 人工智能
摘要
在本文中，我们提出了一种新的非单调激活函数：模数。大多数关于非线性的已报道研究都集中于单调函数。我们实证证明了在计算机视觉任务中使用模数激活函数时，模型的泛化能力优于使用其他非线性函数——相对于所测试的最佳基准激活函数，在CIFAR100上准确率最高提升15%，在CIFAR10上提升4%。使用所提出的激活函数，梯度消失和神经元死亡问题将消失，因为该激活函数的导数始终为1或-1。所提出函数及其导数的简洁性使得该解决方案特别适用于TinyML和硬件应用。
引用
@article{arxiv.2301.05993,
title = {Empirical study of the modulus as activation function in computer vision applications},
author = {Iván Vallés-Pérez and Emilio Soria-Olivas and Marcelino Martínez-Sober and Antonio J. Serrano-López and Joan Vila-Francés and Juan Gómez-Sanchís},
journal= {arXiv preprint arXiv:2301.05993},
year = {2023}
}
备注
Accepted at Engineering Applications of AI