在神经机器翻译训练目标中使用上下文
计算与语言
2020-05-05 v1
摘要
我们提出使用文档级指标和批次级文档进行神经机器翻译（NMT）训练。以往的序列目标 NMT 训练方法仅关注句子级指标（如句子 BLEU），这些指标与期望的评价指标（通常是文档 BLEU）并不对应。同时，文档级 NMT 训练的研究侧重于数据或模型架构，而非训练过程。我们发现这两条研究路线彼此存在明确的互补空间，并提出通过一种方案将它们融合，使得文档级评价指标能够用于 NMT 训练目标。我们首先从句子样本中采样伪文档，然后通过蒙特卡洛采样近似期望的文档 BLEU 梯度，将其用作最小风险训练（MRT）中的代价函数。这种两级采样过程相比序列 MRT 和最大似然训练带来了 NMT 性能提升。我们证明，使用文档级指标的训练比使用序列指标更稳健。我们进一步展示了在 NMT 上使用 TER 以及在语法纠错（GEC）上使用 GLEU 的改进，这两种指标均在文档级别用于评价。
引用
@article{arxiv.2005.01483,
title = {Using Context in Neural Machine Translation Training Objectives},
author = {Danielle Saunders and Felix Stahlberg and Bill Byrne},
journal= {arXiv preprint arXiv:2005.01483},
year = {2020}
}
备注
ACL 2020