深度神经网络在 MNIST 分类任务中非线性激活函数的比较
机器学习
2018-04-10 v1 机器学习
摘要
激活函数在神经网络中起着关键作用，因此理解其优缺点以实现更好的性能至关重要。本文首先介绍除众所周知的 sigmoid 函数之外的常见非线性激活函数类型，然后评估它们的特性。此外，将分析更深的神经网络，因为与较浅的网络相比，它们对最终性能有积极影响。它们也严格依赖于权重初始化，因此将分析从高斯分布和均匀分布中抽取权重的影响，特别关注节点的传入和传出连接数量如何影响整个网络。
引用
@article{arxiv.1804.02763,
title = {Comparison of non-linear activation functions for deep neural networks on MNIST classification task},
author = {Dabal Pedamonti},
journal= {arXiv preprint arXiv:1804.02763},
year = {2018}
}
备注
5 pages, 6 figures