平行数据在跨语言迁移学习中的作用
计算与语言
2022-12-21 v1
摘要
尽管先前工作已确立平行数据的使用有助于跨语言学习，但尚不清楚改进是来自数据本身，还是对平行交互的建模才是关键。为此，我们探究了使用无监督机器翻译生成合成平行数据，并将其与有监督机器翻译和真实平行数据进行比较。我们发现，即便是模型生成的平行数据也对下游任务有用，无论是在通用设定（继续预训练）还是任务特定设定（翻译训练）中，尽管我们的最佳结果仍通过使用真实平行数据获得。我们的发现表明，现有的多语言模型并未充分利用单语数据的潜力，并促使学界重新思考跨语言学习方法的传统分类。
引用
@article{arxiv.2212.10173,
title = {On the Role of Parallel Data in Cross-lingual Transfer Learning},
author = {Machel Reid and Mikel Artetxe},
journal= {arXiv preprint arXiv:2212.10173},
year = {2022}
}
备注
Preprint