将翻译记忆集成到非自回归机器翻译中
计算与语言
2023-02-21 v2
摘要
非自回归机器翻译（NAT）近来取得了重大进展。然而，迄今为止大多数工作聚焦于标准翻译任务，尽管某些基于编辑的 NAT 模型，如 Levenshtein Transformer（LevT），似乎非常适于借助翻译记忆（TM）进行翻译。本文考虑的就是这一场景。我们首先分析原始的 LevT 模型，并解释其在此设定下表现不佳的原因。随后我们提出一种新变体 TM-LevT，并展示如何有效地训练该模型。通过修改数据呈现方式并引入额外的删除操作，我们取得了与自回归方法相当的性能，同时降低了解码负载。我们还表明，在训练阶段引入 TM 可免去使用知识蒸馏这一用于缓解多模态问题的知名技巧。
引用
@article{arxiv.2210.06020,
title = {Integrating Translation Memories into Non-Autoregressive Machine Translation},
author = {Jitao Xu and Josep Crego and François Yvon},
journal= {arXiv preprint arXiv:2210.06020},
year = {2023}
}
备注
Accepted at EACL 2023 main conference