使用不同激活函数训练的卷积神经网络集成
计算机视觉与模式识别
2020-09-23 v5
摘要
激活函数在卷积神经网络的训练中起着至关重要的作用。因此，开发高效且性能良好的函数是深度学习领域的一个关键问题。这些方法的关键在于实现可靠的参数学习，避免梯度消失问题。本工作的目标是提出一种使用若干不同激活函数训练的卷积神经网络集成。此外，本文首次提出了一种新颖的激活函数。我们的目的是提升卷积神经网络在小型/中型生物医学数据集上的性能。我们的结果清楚地表明，所提出的集成优于以标准 ReLU 为激活函数训练的卷积神经网络。所提出的集成以 0.01 的 p 值优于每个被测的独立激活函数；为进行可靠的性能比较，我们在超过 10 个数据集上测试了我们的方法，使用了两种著名的卷积神经网络：Vgg16 和 ResNet50。此处使用的 MATLAB 代码将在 https://github.com/LorisNanni 提供。
引用
@article{arxiv.1905.02473,
title = {Ensemble of Convolutional Neural Networks Trained with Different Activation Functions},
author = {Gianluca Maguolo and Loris Nanni and Stefano Ghidoni},
journal= {arXiv preprint arXiv:1905.02473},
year = {2020}
}