利用跨语言一致性正则化改进零样本多语言神经机器翻译
计算与语言
2023-05-15 v1 人工智能
摘要
多语言神经机器翻译(NMT)模型具有零样本翻译的潜力,可直接翻译训练期间未见过语言对之间的文本。为使从有监督方向到零样本方向的迁移性能良好,多语言NMT模型被期望学习跨不同语言的通用表示。本文引入一种跨语言一致性正则化方法CrossConST,以弥合不同语言间的表示差距并提升零样本翻译性能。理论分析表明,CrossConST隐式地最大化了零样本翻译的概率分布,且在低资源与高资源基准上的实验结果均显示CrossConST持续改善翻译性能。实验分析还证明CrossConST能够缩小句子表示差距并更好地对齐表示空间。鉴于CrossConST的通用性与简洁性,我们相信它可作为未来多语言NMT研究的强基线。
引用
@article{arxiv.2305.07310,
title = {Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization},
author = {Pengzhi Gao and Liwen Zhang and Zhongjun He and Hua Wu and Haifeng Wang},
journal= {arXiv preprint arXiv:2305.07310},
year = {2023}
}
备注
Accepted to Findings of ACL 2023