通过多维标注实现神经机器翻译中的多领域自适应
计算与语言
2021-08-03 v2
摘要
尽管 NMT（神经机器翻译）在过去 5 年中取得了显著成果，但生产系统对任意细分领域的严格质量要求并非总能被现成平行语料充分覆盖。这通常通过训练领域特定模型、使用微调方法以及在领域内单语语料上采用某种反向翻译变体来解决。然而，工业界从业者很少能专注于单一领域。更为典型的场景包含一组密切相关却又明显不同的子领域。在 Booking.com，我们需要翻译物业描述、用户评论以及消息（例如客户与客服或物业经理之间发送的消息）。编辑可能需要翻译跨不同主题的文章。电子商务平台通常既需要翻译每件商品的描述，也需要翻译与之相关的用户生成内容。为此，我们提出 MDT：一种新颖的方法，通过在训练和推理期间向模型传递多维句子级信息，同时在多个子领域上进行微调。我们表明，MDT 取得了与 N 个分别在单一组成领域上微调的专家模型相竞争的结果，同时有效服务于所有 N 个子领域，从而将开发与维护成本按相同倍数削减。除 BLEU（业界标准自动评价指标，已知仅与人类判断弱相关）外，我们还报告了所有模型与子领域的严格人工评估结果，以及更好地从充分性与流畅性角度语境化各模型性能的具体示例。为促进进一步研究，我们计划在录用后公开代码。
引用
@article{arxiv.2102.10160,
title = {Multi-Domain Adaptation in Neural Machine Translation Through Multidimensional Tagging},
author = {Emmanouil Stergiadis and Satendra Kumar and Fedor Kovalev and Pavel Levin},
journal= {arXiv preprint arXiv:2102.10160},
year = {2021}
}