基于 Beta 稳定器的深度学习研究
机器学习
2020-08-05 v1
摘要
人工神经网络（ANN）已用于许多应用，如手写识别和语音识别。众所周知，学习率是人工神经网络训练过程中的关键值。研究表明，学习率的初始值会混淆地影响最终结果，且该值在实践中总是手动设置。一种称为 beta 稳定器的新参数被引入以降低初始学习率的敏感性。但该方法仅针对带 sigmoid 激活函数的深度神经网络（DNN）提出。本文将 beta 稳定器扩展到长短期记忆（LSTM），并研究了 beta 稳定器参数在不同模型上的影响，包括 LSTM 和带 relu 激活函数的 DNN。结论是，beta 稳定器参数能在几乎相同的性能下降低带 relu 激活函数的 DNN 和 LSTM 上学习率的敏感性。然而，研究表明 beta 稳定器对带 relu 激活函数的 DNN 和 LSTM 的影响小于其对带 sigmoid 激活函数的 DNN 的影响。
引用
@article{arxiv.2008.01173,
title = {An Investigation on Deep Learning with Beta Stabilizer},
author = {Qi Liu and Tian Tan and Kai Yu},
journal= {arXiv preprint arXiv:2008.01173},
year = {2020}
}
备注
Accepted by ICSP-2016