面向低资源神经机器翻译的语言驱动多任务预训练
计算与语言
2022-01-21 v1
摘要
在本研究中,我们提出面向低资源机器翻译(NMT)的新型序列到序列预训练目标:针对以日语为源语言或目标语言的语对的日语专用序列到序列(JASS),以及针对涉及英语的语对的英语专用序列到序列(ENSS)。JASS 侧重于对称为文节的日语语言单元进行掩码与重排序,而 ENSS 基于短语结构掩码与重排序任务提出。在 ASPEC 日英与日汉、维基百科日汉、新闻英韩语料上的实验表明,JASS 与 ENSS 在低资源 NMT 上优于 MASS 及其他现有语言无关预训练方法,日英任务最高提升 +2.9 BLEU 点,日汉任务最高提升 +7.0 BLEU 点,英韩任务最高提升 +1.3 BLEU 点。聚焦于 JASS 与 ENSS 中各组成部分关系的实证分析揭示了二者子任务的互补性。使用 LASER 的充分性评估、人工评估与案例分析表明,我们提出的方法显著优于未注入语言知识的预训练方法,且相比流畅性对充分性有更大的正向影响。代码发布于:https://github.com/Mao-KU/JASS/tree/master/linguistically-driven-pretraining。
引用
@article{arxiv.2201.08070,
title = {Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation},
author = {Zhuoyuan Mao and Chenhui Chu and Sadao Kurohashi},
journal= {arXiv preprint arXiv:2201.08070},
year = {2022}
}
备注
An extension of work arXiv:2005.03361