通过监控梯度方向变化动态调整Transformer批大小
计算与语言
2020-05-06 v1 人工智能
摘要
超参数的选择影响神经模型的性能。尽管许多先前的研究（Sutskever et al., 2013; Duchi et al., 2011; Kingma and Ba, 2015）侧重于加速收敛和降低学习率的影响，但相对较少的论文关注批大小的影响。本文我们分析了增加批大小如何影响梯度方向，并提出通过梯度角度变化来评估梯度的稳定性。基于我们的观察，梯度方向的角度变化在累积小批量时首先趋于稳定（即逐渐减小），然后开始波动。我们提出通过累积小批量的梯度，并在梯度方向刚开始波动时执行优化步骤，来自动且动态地确定批大小。为提高该方法在大模型上的效率，我们提出了一种采样方法，以选择对批大小敏感的参数梯度。我们的方法在训练过程中动态地确定合适且高效的批大小。在 WMT 14 英语到德语和英语到法语的翻译任务实验中，我们的方法将使用固定 25k 批大小的 Transformer 分别提升了 +0.73 和 +0.82 BLEU 值。
引用
@article{arxiv.2005.02008,
title = {Dynamically Adjusting Transformer Batch Size by Monitoring Gradient Direction Change},
author = {Hongfei Xu and Josef van Genabith and Deyi Xiong and Qiuhui Liu},
journal= {arXiv preprint arXiv:2005.02008},
year = {2020}
}