面向神经机器翻译中上下文的最大化利用
计算与语言
2020-09-10 v2
摘要
文档级机器翻译以微小优势胜过句子级模型,但未能被广泛采用。我们认为以往研究未清晰利用全局上下文,并提出一种新的文档级 NMT 框架,该框架在源语言与目标语言中都以对文档全局上下文的感知来刻意建模每个句子的局部上下文。我们特别将模型设计为能处理含任意数量句子(包括单句)的文档。这一统一方法使我们的模型能在标准数据集上优雅训练,无需分别在句子级和文档级数据上训练。实验结果表明,我们的模型以高达 2.1 BLEU 的显著优势胜过 Transformer 基线和以往的文档级 NMT 模型。我们还提供分析,显示上下文的益处远超出先前研究通常纳入的相邻两三个句子。
引用
@article{arxiv.2002.07982,
title = {Towards Making the Most of Context in Neural Machine Translation},
author = {Zaixiang Zheng and Xiang Yue and Shujian Huang and Jiajun Chen and Alexandra Birch},
journal= {arXiv preprint arXiv:2002.07982},
year = {2020}
}
备注
Accepted by IJCAI'20. One-sentence summary: A general-purpose NMT model that's supposed to deal with any-length text, e.g., an entire document or a single sentence