利用共指信息的上下文感知神经机器翻译对比学习
计算与语言
2021-09-14 v1
摘要
上下文感知神经机器翻译(NMT)引入周边文本的上下文信息，可提升文档级机器翻译的翻译质量。许多现有的上下文感知 NMT 工作聚焦于开发用于融入额外上下文的新模型架构，并展现出一些有前景的结果。然而，大多数现有工作依赖交叉熵损失，导致上下文信息的利用有限。本文中，我们提出 CorefCL，一种基于源句与上下文句之间共指关系的新型数据增强与对比学习方案。通过破坏上下文句中自动检测到的共指提及，CorefCL 可训练模型对共指不一致敏感。我们在常见上下文感知 NMT 模型与两个文档级翻译任务上实验了该方法。实验中，我们的方法在英德与英韩任务上持续提升对比模型的 BLEU。我们也展示该方法显著改善了英德对比测试套件中的共指消解。
引用
@article{arxiv.2109.05712,
title = {Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information},
author = {Yongkeun Hwang and Hyungu Yun and Kyomin Jung},
journal= {arXiv preprint arXiv:2109.05712},
year = {2021}
}
备注
WMT 2021