利用自训练改进跨语言阅读理解
计算与语言
2021-05-11 v1
摘要
机器阅读理解已取得实质性进展,即机器基于给定上下文回答问题。当前最先进的模型在多个基准上甚至超越人类表现。然而,其在跨语言场景下的能力仍有待探索。先前工作已揭示预训练多语言模型在零样本跨语言阅读理解上的能力。在本文中,我们进一步利用无标注数据提升性能。模型首先在源语言语料上监督训练,随后用无标注目标语言数据自训练。实验结果显示所有语言均有提升,并且我们还从定性角度分析了自训练如何裨益跨语言阅读理解。
引用
@article{arxiv.2105.03627,
title = {Improving Cross-Lingual Reading Comprehension with Self-Training},
author = {Wei-Cheng Huang and Chien-yu Huang and Hung-yi Lee},
journal= {arXiv preprint arXiv:2105.03627},
year = {2021}
}
备注
8 pages, 4 figures