用于跨语言迁移的句法增强多语言 BERT
计算与语言
2021-06-07 v1
摘要
近年来，我们见证了利用多种语言的大规模语料预训练多语言文本编码器以促进跨语言迁移学习的巨大努力。然而，由于语言间的类型学差异，跨语言迁移颇具挑战。尽管如此，语言句法（例如句法依存关系）可弥合类型学鸿沟。先前工作表明，诸如 mBERT \cite{devlin-etal-2019-bert} 等预训练多语言编码器能捕捉语言句法，助力跨语言迁移。本工作表明，显式提供语言句法并以辅助目标训练 mBERT 来编码通用依存树结构有助于跨语言迁移。我们在四项 NLP 任务上进行了严谨实验，包括文本分类、问答、命名实体识别与面向任务的语义解析。实验结果显示，句法增强的 mBERT 在流行基准（如 PAWS-X 与 MLQA）上平均跨所有语言分别提升 1.4 与 1.6 个点。在\emph{泛化}迁移设定下，性能提升显著，在 PAWS-X 与 MLQA 上平均分别提升 3.9 与 3.1 个点。
引用
@article{arxiv.2106.02134,
title = {Syntax-augmented Multilingual BERT for Cross-lingual Transfer},
author = {Wasi Uddin Ahmad and Haoran Li and Kai-Wei Chang and Yashar Mehdad},
journal= {arXiv preprint arXiv:2106.02134},
year = {2021}
}
备注
ACL 2021 (camera ready)