文档扁平化：超越拼接上下文的文档级神经机器翻译
计算与语言
2023-02-17 v1
摘要
现有的文档级神经机器翻译工作通常将若干连续句子拼接为伪文档，然后学习句间依赖关系。该策略限制了模型利用远距离上下文信息的能力。我们通过一种新颖的文档扁平化（DocFlat）技术克服了这一局限，该技术将扁平批注意力（FBA）与神经上下文门（NCG）集成到 Transformer 模型中，以利用伪文档边界之外的信息。FBA 允许模型关注批中的所有位置并显式学习位置间关系，NCG 从远距离上下文中识别有用信息。我们在三个英德翻译基准数据集上进行了全面的实验与分析，并验证了 DocFlat 两种变体的有效性。实证结果表明，我们的方法在 BLEU、COMET 以及对比测试集准确率上以统计显著性优于强基线。分析强调 DocFlat 在捕获长距离信息方面极为有效。
引用
@article{arxiv.2302.08079,
title = {Document Flattening: Beyond Concatenating Context for Document-Level Neural Machine Translation},
author = {Minghao Wu and George Foster and Lizhen Qu and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2302.08079},
year = {2023}
}
备注
15 pages, 8 figures, accepted by EACL 2023