神经机器翻译中小批量创建策略的实证研究
计算与语言
2017-06-20 v1
摘要
出于效率考虑，神经机器翻译 (NMT) 模型的训练通常使用小批量。在小批量训练过程中，需要将小批量中较短的句子填充至与其中最长句子相同的长度，以实现高效计算。先前的工作指出，在创建小批量之前根据句子长度对语料库进行排序，可以减少填充量并提高处理速度。然而，尽管小批量创建是 NMT 训练中的关键步骤，但广泛使用的 NMT 工具包对此实现了各不相同的策略，这些策略尚未得到实证验证或比较。本研究通过在两个不同数据集上的实验，探讨了小批量创建策略。结果表明，小批量创建策略的选择对 NMT 训练有很大影响，且与简单的随机打乱相比，某些基于长度的排序策略并不总是表现良好。
引用
@article{arxiv.1706.05765,
title = {An Empirical Study of Mini-Batch Creation Strategies for Neural Machine Translation},
author = {Makoto Morishita and Yusuke Oda and Graham Neubig and Koichiro Yoshino and Katsuhito Sudoh and Satoshi Nakamura},
journal= {arXiv preprint arXiv:1706.05765},
year = {2017}
}
备注
8 pages, accepted to the First Workshop on Neural Machine Translation