hyper-sinh：一种从浅层到深度学习在 TensorFlow 与 Keras 中准确可靠的激活函数
计算机视觉与模式识别
2021-08-19 v1 人工智能
计算与语言
机器学习
神经与进化计算
摘要
本文提出 'hyper-sinh'，它是 m-arcsinh 激活函数的一种变体，适用于基于深度学习（DL）的监督学习算法，例如卷积神经网络（CNN）。hyper-sinh 在开源 Python 库 TensorFlow 和 Keras 中开发，由此被描述并验证为一种适用于浅层与深度神经网络的准确且可靠的激活函数。本文讨论了在 Keras 提供的五个（N = 5）基准数据集上图像与文本分类任务中准确率和可靠性的提升。实验结果表明，通过这一新颖函数获得的浅层与深度神经网络具有总体具竞争力的分类性能。该函数针对黄金标准激活函数进行了评估，证明了其在图像与文本分类中总体具竞争力的准确性与可靠性。
引用
@article{arxiv.2011.07661,
title = {hyper-sinh: An Accurate and Reliable Function from Shallow to Deep Learning in TensorFlow and Keras},
author = {Luca Parisi and Renfei Ma and Narrendar RaviChandran and Matteo Lanzillotta},
journal= {arXiv preprint arXiv:2011.07661},
year = {2021}
}
备注
19 pages, 6 listings/Python code snippets, 4 figures, 5 tables