重访神经机器翻译中的检查点平均
计算与语言
2022-10-24 v1 人工智能
机器学习
摘要
检查点平均是一种简单而有效的方法, 可提升已收敛神经机器翻译模型的性能。该计算代价低廉, 且翻译改进几乎免费获得, 使其在神经机器翻译研究中被广泛采用。尽管流行, 该方法本身只是取若干检查点模型参数的均值, 而检查点的选取多基于经验法则且缺乏充分依据。本工作中, 我们重访检查点平均的概念并考虑若干扩展。具体地, 我们试验了诸如使用不同检查点选择策略、计算加权平均而非简单均值、利用梯度信息以及在开发数据上微调插值权重等思路。我们的结果确认了为获得最优性能而应用检查点平均的必要性, 但也表明已收敛检查点之间的景观相当平坦, 相较简单平均难以获得进一步改进。
引用
@article{arxiv.2210.11803,
title = {Revisiting Checkpoint Averaging for Neural Machine Translation},
author = {Yingbo Gao and Christian Herold and Zijian Yang and Hermann Ney},
journal= {arXiv preprint arXiv:2210.11803},
year = {2022}
}
备注
accepted at AACL2022