基于句间依存图的零样本跨语言机器阅读理解
计算与语言
2022-03-17 v5 机器学习
摘要
我们致力于直接零样本设定下的跨语言机器阅读理解（MRC）任务，通过引入通用依存（UD）中的句法特征，且所使用的关键特征为各句子内部的句法关系。尽管已有工作展示了句法引导的 MRC 模型的有效性，我们提出除基本的句内关系外，还采用句间句法关系，以进一步利用 MRC 任务多句输入中的句法依存。在我们的方法中，构建句间依存图（ISDG），连接依存树以形成跨句子的全局句法关系。随后我们提出 ISDG 编码器，对全局依存图进行编码，通过一跳与多跳依存路径显式地处理句间关系。在三个多语言 MRC 数据集（XQuAD、MLQA、TyDiQA-GoldP）上的实验表明，仅以英语训练的编码器能够在涵盖 8 种语言的所有 14 个测试集上提升零样本性能，平均最高提升 3.8 F1 / 5.2 EM，在特定语言上提升 5.2 F1 / 11.2 EM。进一步分析显示，该提升可归因于对跨语言一致句法路径的注意力。
引用
@article{arxiv.2112.00503,
title = {Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-sentence Dependency Graph},
author = {Liyan Xu and Xuchao Zhang and Bo Zong and Yanchi Liu and Wei Cheng and Jingchao Ni and Haifeng Chen and Liang Zhao and Jinho D. Choi},
journal= {arXiv preprint arXiv:2112.00503},
year = {2022}
}
备注
Accepted to AAAI 2022