利用翻译作为数据增强的问答多语言迁移学习
计算与语言
2020-12-14 v1
摘要
先前关于多语言问答的研究主要集中于使用大型多语言预训练语言模型（LM）来执行零样本语言间学习：在英语上训练问答模型并在其他语言上测试。在本工作中，我们探索通过使多语言嵌入在语义空间中更为接近来改进跨语言迁移的策略。我们的第一种策略利用机器翻译生成的数据扩充原始英文训练数据。这产生了一个多语言银标问答对语料库，其规模是原始训练集的 14 倍。此外，我们提出两种新策略，语言对抗训练和语言仲裁框架，它们显著改进了（零资源）跨语言迁移性能，并使得 LM 嵌入的语言差异性更小。通过实验，我们表明所提模型在最近引入的多语言 MLQA 和 TyDiQA 数据集上优于先前的零样本基线。
引用
@article{arxiv.2012.05958,
title = {Multilingual Transfer Learning for QA Using Translation as Data Augmentation},
author = {Mihaela Bornea and Lin Pan and Sara Rosenthal and Radu Florian and Avirup Sil},
journal= {arXiv preprint arXiv:2012.05958},
year = {2020}
}