DEEP：面向神经机器翻译的去噪实体预训练
计算与语言
2021-11-16 v1 人工智能
摘要
已有研究表明，机器翻译模型通常对训练语料中低频出现的命名实体生成较差的译文。早期的命名实体翻译方法主要关注语音转写，忽略了句子上下文用于翻译，且在领域与语言覆盖上受限。为应对该局限，我们提出 DEEP，一种利用大量单语数据与知识库来提升句内命名实体翻译准确度的去噪实体预训练（DEnoising Entity Pre-training）方法。此外，我们研究了一种多任务学习策略，在实体增强的单语数据与平行数据上微调预训练的神经机器翻译模型，以进一步提升实体翻译。在三个语言对上的实验结果表明，该方法相较强去噪自编码基线取得显著改进，在英语-俄语翻译上 BLEU 提升达 1.3，实体准确率提升达 9.2 个百分点。
引用
@article{arxiv.2111.07393,
title = {DEEP: DEnoising Entity Pre-training for Neural Machine Translation},
author = {Junjie Hu and Hiroaki Hayashi and Kyunghyun Cho and Graham Neubig},
journal= {arXiv preprint arXiv:2111.07393},
year = {2021}
}
备注
13 pages