激活函数对深度神经网络训练的影响
机器学习
2019-05-28 v2 人工智能
机器学习
摘要
深度神经网络的权重初始化与激活函数对训练过程的性能有至关重要的影响。不适当的选取会导致输入信息在前向传播中丢失，以及梯度在反向传播中呈指数级消失/爆炸。理解未训练随机网络的理论性质是识别哪些深度网络可被成功训练的关键，正如 Samuel 等人（2017）最近所证明：对于深度前馈神经网络，仅有一类称为“混沌边缘”（Edge of Chaos）的特定超参数选择可带来良好性能。虽然 Samuel 等人（2017）的工作讨论了可训练性问题，我们此处关注训练加速与整体性能。我们对混沌边缘给出了全面的理论分析，并表明我们确实可以调谐初始化参数与激活函数，以加速训练并提升性能。
引用
@article{arxiv.1902.06853,
title = {On the Impact of the Activation Function on Deep Neural Networks Training},
author = {Soufiane Hayou and Arnaud Doucet and Judith Rousseau},
journal= {arXiv preprint arXiv:1902.06853},
year = {2019}
}
备注
22 pages