不同卷积神经网络激活函数及构建集成方法的比较
计算机视觉与模式识别
2021-04-05 v2 人工智能
摘要
近来，寻找高效且强大的CNN层激活函数备受关注。由于激活函数在层间注入影响性能的不同非线性，改变它们是构建鲁棒CNN集成的一种方法。本研究的目的是检验由不同激活函数构成的CNN集成的性能，包括此处提出的六种新函数：2D Mexican ReLU、TanELU、MeLU+GaLU、Symmetric MeLU、Symmetric GaLU和Flexible MeLU。性能最高的集成由具有不同激活层的CNN构建，这些激活层随机替换标准ReLU。所提方法在代表各种分类任务的十五个生物医学数据集上进行了综合评估。该方法在Vgg16和ResNet50两种基本CNN架构上进行了测试。结果证明了该方法在性能上的优越性。本研究的MATLAB源代码将发布于 https://github.com/LorisNanni。
引用
@article{arxiv.2103.15898,
title = {Comparison of different convolutional neural network activation functions and methods for building ensembles},
author = {Loris Nanni and Gianluca Maguolo and Sheryl Brahnam and Michelangelo Paci},
journal= {arXiv preprint arXiv:2103.15898},
year = {2021}
}