MALM：面向零样本机器翻译的混合增强语言建模

Kshitij Gupta

MALM：面向零样本机器翻译的混合增强语言建模

计算与语言 2022-10-04 v1 机器学习

作者: Kshitij Gupta

摘要

大型预训练语言模型为自然语言处理带来了显著进展。预训练与微调在文本处理各项任务中取得了最先进的性能。数据增强技术也有助于在低资源或零资源任务上构建最先进的模型。过去许多工作尝试学习单一的大规模多语机器翻译模型以实现零样本翻译。尽管这些翻译模型能生成正确译文，主要挑战在于它们对零样本翻译生成了错误的语言。本工作及其结果表明，提示条件化的大模型不会遭受离目标语言错误，即因翻译到错误语言而产生的错误。我们通过实验证明了自监督预训练与数据增强对零样本多语机器翻译的有效性。

关键词

零样本机器翻译多语语言建模数据增强提示条件化离目标语言错误自监督预训练

引用

@article{arxiv.2210.00320,
  title  = {MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation},
  author = {Kshitij Gupta},
  journal= {arXiv preprint arXiv:2210.00320},
  year   = {2022}
}

备注

Published in 2nd Workshop on Natural Language Processing for Digital Humanities (NLP4DH 2022) which was organized with AACL 2022

MALM：面向零样本机器翻译的混合增强语言建模

摘要

关键词

引用

备注

相关论文