面向监督式深度神经网络的最先进激活函数分析
机器学习
2021-04-07 v1
摘要
本文针对深度神经网络监督分类问题，对最先进的激活函数进行了分析。这些激活函数包括修正线性单元（ReLU）、指数线性单元（ELU）、缩放指数线性单元（SELU）、高斯误差线性单元（GELU）以及反平方根线性单元（ISRLU）。为进行评估，我们基于集成这些激活函数的两种深度学习网络架构开展了实验。第一个模型基于多层感知机（MLP），使用 MNIST 数据集对这些激活函数进行评估。同时，第二个模型采用类似 VGGish 的架构，应用于 DCASE 2018 挑战赛中的声学场景分类（ASC）任务 1A，从而评估这些激活函数在不同数据集以及不同网络架构下是否表现良好。
引用
@article{arxiv.2104.02523,
title = {An Analysis of State-of-the-art Activation Functions For Supervised Deep Neural Network},
author = {Anh Nguyen and Khoa Pham and Dat Ngo and Thanh Ngo and Lam Pham},
journal= {arXiv preprint arXiv:2104.02523},
year = {2021}
}
备注
6 pages, 5 figures