预训练 Transformer 用于阿拉伯语信息抽取的经验研究
计算与语言
2020-11-10 v5
摘要
多语言预训练 Transformer，如 mBERT (Devlin et al., 2019) 和 XLM-RoBERTa (Conneau et al., 2020a)，已被证明能够实现有效的跨语言零样本迁移。然而，它们在阿拉伯语信息抽取（IE）任务上的性能尚未得到充分研究。在本文中，我们预训练一个定制的双语 BERT，称为 GigaBERT，专为阿拉伯语 NLP 和英到阿零样本迁移学习设计。我们研究了 GigaBERT 在四个 IE 任务上的零样本迁移效果：命名实体识别、词性标注、论元角色标注和关系抽取。我们的最佳模型在有监督和零样本迁移设置下均显著优于 mBERT、XLM-RoBERTa 和 AraBERT (Antoun et al., 2020)。我们已将预训练模型公开于 https://github.com/lanwuwei/GigaBERT。
引用
@article{arxiv.2004.14519,
title = {An Empirical Study of Pre-trained Transformers for Arabic Information Extraction},
author = {Wuwei Lan and Yang Chen and Wei Xu and Alan Ritter},
journal= {arXiv preprint arXiv:2004.14519},
year = {2020}
}
备注
8 pages, EMNLP 2020