ADADELTA：一种自适应学习率方法
机器学习
2012-12-27 v1
摘要
我们提出了一种用于梯度下降的新型逐维学习率方法，称为 ADADELTA。该方法仅使用一阶信息随时间动态适应，且相较于标准随机梯度下降具有极小的计算开销。该方法无需手动调整学习率，并且似乎对噪声梯度信息、不同的模型架构选择、各种数据模态以及超参数的选择具有鲁棒性。我们在单台机器上的 MNIST 数字分类任务以及分布式集群环境中的大规模语音数据集上展示了与其他方法相比的令人鼓舞的结果。
引用
@article{arxiv.1212.5701,
title = {ADADELTA: An Adaptive Learning Rate Method},
author = {Matthew D. Zeiler},
journal= {arXiv preprint arXiv:1212.5701},
year = {2012}
}
备注
6 pages