解决文档级神经机器翻译中的长度偏置问题
计算与语言
2023-11-21 v1
摘要
文档级神经机器翻译（DNMT）通过引入更多上下文信息已展现出良好前景。然而，该方法也引入了长度偏置问题，即 DNMT 在解码远短于或远长于训练时最大序列长度的文档时，翻译质量出现显著下降。为解决长度偏置问题，我们提出从训练方法、注意力机制和解码策略三方面改进 DNMT 模型。首先，我们提出动态采样训练数据，以确保不同序列长度间更均匀的分布。接着，我们引入长度归一化注意力机制，帮助模型聚焦于目标信息，缓解处理较长序列时的注意力发散问题。最后，我们在解码时提出滑动窗口策略，在不超出最大序列长度的前提下尽可能整合上下文信息。实验结果表明，我们的方法在多个开放数据集上带来显著提升，进一步分析显示我们的方法能显著缓解长度偏置问题。
引用
@article{arxiv.2311.11601,
title = {Addressing the Length Bias Problem in Document-Level Neural Machine Translation},
author = {Zhuocheng Zhang and Shuhao Gu and Min Zhang and Yang Feng},
journal= {arXiv preprint arXiv:2311.11601},
year = {2023}
}
备注
Accepted by EMNLP2023 Findings