一种面向跨度抽取式阅读理解的多语言建模方法
计算与语言
2021-06-01 v1 人工智能
摘要
跨度抽取式阅读理解模型因大规模高质量训练数据集的可用而取得了巨大进展。尽管进展迅速且应用广泛，非英语的抽取式阅读理解数据集仍然稀缺，且为每种语言创建如此大量的训练数据成本高昂甚至不可能。替代创建大规模高质量单语跨度抽取训练数据集的方案是开发多语言建模方法与系统，其可在无需该语言训练数据的情况下迁移至目标语言。在本文中，为解决目标语言中抽取式阅读理解训练数据稀缺的问题，我们提出一种称为 XLRC 的多语言抽取式阅读理解方法，通过使用自适应注意力与多语言注意力在多语言环境中对现有抽取式阅读理解训练数据进行联合建模。具体而言，我们首先通过将现有抽取式阅读理解数据集（即 CMRC 2018）从目标语言（即中文）翻译至不同语系（即英语）来构建多语言平行语料。其次，为增强最终目标表示，我们采用自适应注意力（SAA）结合自注意力与互注意力，从每对目标与源语言中提取语义关系。此外，我们提出多语言注意力（MLA）以从多种语系中学习丰富知识。实验结果表明，我们的模型在 CMRC 2018 任务上优于最先进基线（即 RoBERTa_Large），这证明了我们所提多语言建模方法的有效性，并展示了其在多语言 NLP 任务中的潜力。
引用
@article{arxiv.2105.14880,
title = {A Multilingual Modeling Method for Span-Extraction Reading Comprehension},
author = {Gaochen Wu and Bin Xu and Dejie Chang and Bangchang Liu},
journal= {arXiv preprint arXiv:2105.14880},
year = {2021}
}