深度神经网络分类任务中非线性激活函数的实证分析
机器学习
2017-11-01 v1 机器学习
摘要
我们概述了神经网络架构中若干已在许多机器学习应用中证明成功的非线性激活函数。我们在 MNIST 分类任务上对这些函数的有效性进行实证分析，旨在厘清哪些函数总体产生最佳结果。基于这组初步结果，我们考察构建具不断增加隐藏层数的更深架构的影响。我们还考察了在同一任务上对神经网络权重使用不同初始化方案的影响。以这些实验集为基础，我们最后给出一个在 MNIST 分类任务上取得令人印象深刻的准确率的最优神经网络架构。
引用
@article{arxiv.1710.11272,
title = {Empirical analysis of non-linear activation functions for Deep Neural Networks in classification tasks},
author = {Giovanni Alcantara},
journal= {arXiv preprint arXiv:1710.11272},
year = {2017}
}
备注
7 pages, 23 figures