噪声激活函数
机器学习
2016-04-05 v3 神经与进化计算
机器学习
摘要
神经网络中使用的常见非线性激活函数可能因激活函数的饱和行为而导致训练困难，这可能隐藏对vanilla-SGD（仅使用一阶梯度）不可见的依赖关系。使用软饱和激活函数以模拟数字逻辑电路离散切换的门控机制便是这方面的好例子。我们提议利用注入适当的噪声，使得即使无噪声激活函数应用产生零梯度，梯度也可轻易流动。大噪声将主导无噪声梯度并允许随机梯度下降探索更多。通过仅向激活函数的问题部分添加噪声，我们允许优化过程探索退化（饱和）与表现良好部分之间的边界。我们还建立了与模拟退火的关联，当噪声量退火下降时，使得优化困难目标函数更容易。我们通过实验发现，在许多情境中用噪声变体替换此类饱和激活函数有助于训练，在不同数据集与任务上取得最先进或具竞争力的结果，尤其在训练似乎最困难时，例如当需要课程学习以获得良好结果时。
引用
@article{arxiv.1603.00391,
title = {Noisy Activation Functions},
author = {Caglar Gulcehre and Marcin Moczulski and Misha Denil and Yoshua Bengio},
journal= {arXiv preprint arXiv:1603.00391},
year = {2016}
}