小批量尺寸改善低资源神经机器翻译的训练
计算与语言
2022-03-22 v1 人工智能
机器学习
摘要
我们研究在低资源设定下支配 Transformer 神经机器翻译训练的一个关键超参数的作用：批量尺寸。借助理论洞见与实验证据，我们反驳了批量尺寸应设得尽可能大以用满 GPU 内存的普遍看法。我们表明，在低资源设定下，较小的批量尺寸能在更短训练时间内取得更高分数，并认为这源于训练期间对梯度更好的正则化。
引用
@article{arxiv.2203.10579,
title = {Small Batch Sizes Improve Training of Low-Resource Neural MT},
author = {Àlex R. Atrio and Andrei Popescu-Belis},
journal= {arXiv preprint arXiv:2203.10579},
year = {2022}
}
备注
To be published in 18th International Conference on Natural Language Processing (ICON 2021)