用于多语言机器阅读理解中零样本跨语言迁移的解耦语义表示学习
计算与语言
2023-01-18 v2
摘要
多语言预训练模型能够在机器阅读理解（MRC）中将知识从富资源语言零样本迁移至低资源语言。然而，不同语言间固有的语言差异可能导致零样本迁移预测的回答片段违背目标语言的句法约束。本文提出一种新颖的多语言MRC框架，配备孪生语义解耦模型（SSDM），以将多语言预训练模型所学表示中的语义与句法解离。为显式地仅向目标语言迁移语义知识，我们提出两组分别面向语义与句法编码及解耦的损失。在三个多语言MRC数据集（即XQuAD、MLQA与TyDi QA）上的实验结果证明了我们所提方法相对于基于mBERT与XLM-100的模型的有效性。代码见：https://github.com/wulinjuan/SSDM_MRC。
引用
@article{arxiv.2204.00996,
title = {Learning Disentangled Semantic Representations for Zero-Shot Cross-Lingual Transfer in Multilingual Machine Reading Comprehension},
author = {Linjuan Wu and Shaojuan Wu and Xiaowang Zhang and Deyi Xiong and Shizhan Chen and Zhiqiang Zhuang and Zhiyong Feng},
journal= {arXiv preprint arXiv:2204.00996},
year = {2023}
}
备注
Accepted to ACL 2022 (main conference)