面向多对多多语言神经机器翻译的对比学习
计算与语言
2021-07-23 v3 机器学习
摘要
现有的多语言机器翻译方法主要关注以英语为中心的方向，而非英语方向的表现仍然落后。在本工作中，我们旨在构建一个多对多翻译系统，并着重提升非英语语言方向的翻译质量。我们的直觉基于一个假设：通用的跨语言表示能带来更好的多语言翻译性能。为此，我们提出 mRASP2，一种用于获得单一统一多语言翻译模型的训练方法。mRASP2 由两项技术赋能：a) 一种对比学习方案，以缩小不同语言表示之间的差距；b) 在多语言平行数据与单语数据上进行数据增强，以进一步对齐词元表示。在以英语为中心的方向上，mRASP2 优于现有最佳统一模型，并在数十条 WMT 翻译方向上取得与预训练并微调的模型 mBART 相当甚至更优的性能。在非英语方向上，mRASP2 相比多语言 Transformer 基线实现了平均 10+ BLEU 的提升。代码、数据与训练好的模型可在 https://github.com/PANXiao1994/mRASP2 获取。
引用
@article{arxiv.2105.09501,
title = {Contrastive Learning for Many-to-many Multilingual Neural Machine Translation},
author = {Xiao Pan and Mingxuan Wang and Liwei Wu and Lei Li},
journal= {arXiv preprint arXiv:2105.09501},
year = {2021}
}
备注
accepted as long paper in ACL2021