更好地理解零样本神经机器翻译性能中的差异
计算与语言
2023-11-01 v2 机器学习
摘要
多语言神经机器翻译(MNMT)促进了知识共享,但常受困于较差的零样本(ZS)翻译质量。虽然先前工作已探究了整体低 ZS 性能的原因,我们的工作引入了一个新视角:ZS 性能存在高度差异。这表明 MNMT 并非一致地表现出较差的 ZS 能力;相反,某些翻译方向产生了合理的结果。通过涉及跨越 40 种语言的 1,560 个语言方向的系统实验,我们识别出导致 ZS NMT 性能高度差异的三个关键因素:1) 目标端翻译能力 2) 词汇重叠 3) 语言属性。我们的发现强调目标端翻译质量是最具影响力的因素,词汇重叠持续影响 ZS 性能。此外,语言属性(如语系和书写系统)也发挥作用,尤其在较小模型中。进而,我们指出离靶问题是不充分 ZS 性能的一种症状,强调零样本翻译挑战远超解决离靶问题本身。我们在 https://github.com/Smu-Tan/ZS-NMT-Variations 发布了作为研究零样本基准的数据与模型以供未来研究。
引用
@article{arxiv.2310.10385,
title = {Towards a Better Understanding of Variations in Zero-Shot Neural Machine Translation Performance},
author = {Shaomu Tan and Christof Monz},
journal= {arXiv preprint arXiv:2310.10385},
year = {2023}
}
备注
This paper is accepted by the EMNLP 2023 Main Conference