将循环学习率应用于神经机器翻译
机器学习
2020-04-07 v1 计算与语言
机器学习
摘要
在训练深度学习网络时，优化器及相关的学习率常常未经深思或仅做最少调优便被使用，尽管它们对于确保快速收敛到损失函数的良好质量极小值且能在测试集上良好泛化至关重要。受循环学习率策略在计算机视觉相关卷积网络与数据集上成功应用的启发，我们探索如何将循环学习率应用于训练基于 transformer 的神经网络以进行神经机器翻译。通过精心设计的实验，我们表明优化器的选择及相关的循环学习率策略会对性能产生显著影响。此外，我们确立了将循环学习率应用于神经机器翻译任务时的指导原则。因此，我们希望通过本研究提高对选择正确优化器及配套学习率策略重要性的认识，同时鼓励对易用学习率策略的进一步研究。
引用
@article{arxiv.2004.02401,
title = {Applying Cyclical Learning Rate to Neural Machine Translation},
author = {Choon Meng Lee and Jianfeng Liu and Wei Peng},
journal= {arXiv preprint arXiv:2004.02401},
year = {2020}
}