因子化神经机器翻译的新应用
计算与语言
2019-10-10 v1 神经与进化计算
摘要
在这项工作中，我们探索了目标因子在神经机器翻译（NMT）中的效用，超越其最初由 Garc\`ia-Mart\`inez 等人（2016）提出的预测词干及其屈折变化的初衷。为此，我们引入了因子化输出架构的三种新应用：在第一种中，我们使用一个因子显式地独立于目标词本身预测词的大小写，这使得词的不同大小写变体之间能够共享信息。在第二个任务中，我们使用一个因子预测两个连续子词何时必须连接，从而消除对目标子词连接标记的需要。第三个任务是预测 Stahlberg 等人（2018）的操作序列 NMT 模型（OSNMT）的特殊标记。在英语到德语和英语到土耳其语任务上的自动评估表明，将此类辅助预测任务集成到 NMT 中至少与标准 NMT 方法一样好。对于 OSNMT，由于引入目标因子导致的输出序列长度缩短，我们观察到 BLEU 相较基线 OSNMT 实现有显著提升。
引用
@article{arxiv.1910.03912,
title = {Novel Applications of Factored Neural Machine Translation},
author = {Patrick Wilken and Evgeny Matusov},
journal= {arXiv preprint arXiv:1910.03912},
year = {2019}
}