基于多语言表示模型的跨语言迁移学习实现零样本阅读理解
计算与语言
2019-09-23 v1 机器学习
机器学习
摘要
由于为每种语言收集训练数据并不可行，跨语言迁移学习正受到越来越多的关注。本文中，我们借助在多语言语料上预训练的语言表示模型，系统性地探索阅读理解任务上的零样本跨语言迁移学习。实验结果表明，利用预训练语言表示，零样本学习是可行的，且将源数据翻译为目标语言既无必要甚至会损害性能。我们进一步探究了该模型在零样本设定下学到了什么。
引用
@article{arxiv.1909.09587,
title = {Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model},
author = {Tsung-yuan Hsu and Chi-liang Liu and Hung-yi Lee},
journal= {arXiv preprint arXiv:1909.09587},
year = {2019}
}