长短期掩码Transformer：一种简单而有效的文档级神经机器翻译基线
计算与语言
2020-09-22 v1 人工智能
摘要
许多文档级神经机器翻译（NMT）系统已探索上下文感知架构的效用，通常要求增加参数数量与计算复杂度。然而，基线模型很少受到关注。本文广泛研究了标准Transformer在文档级翻译中的优劣，发现自回归特性可同时带来一致性优势与错误累积劣势。因此，我们在标准Transformer之上提出一种令人惊讶地简单的长短期掩码自注意力，以有效捕获长程依赖并减少错误传播。我们在两个公开文档级数据集上检验该方法，可在BLEU上取得强劲结果并捕获语篇现象。
引用
@article{arxiv.2009.09127,
title = {Long-Short Term Masking Transformer: A Simple but Effective Baseline for Document-level Neural Machine Translation},
author = {Pei Zhang and Boxing Chen and Niyu Ge and Kai Fan},
journal= {arXiv preprint arXiv:2009.09127},
year = {2020}
}
备注
accepted to EMNLP 2020