多语言 Transformer 模型的迁移学习与远程监督：以非洲语言为研究对象
计算与语言
2020-10-08 v1 机器学习
摘要
mBERT 与 XLM-RoBERTa 等多语言 transformer 模型已在多种语言的众多 NLP 任务上取得巨大进展。然而，近期研究也表明，高资源语言的结果难以轻易迁移至现实的低资源场景。本工作中，我们针对豪萨语、isiXhosa 与约鲁巴语这三种非洲语言，在不同可用资源量下，于命名实体识别（NER）与主题分类两项任务上研究性能趋势。我们表明，结合迁移学习或远程监督，这些模型仅用 10 或 100 句标注句子即可达到使用多得多监督训练数据的基线性能。不过，我们也发现了该结论不成立的设定。我们关于时间与硬件限制等假设的讨论与补充实验凸显了低资源学习中的挑战与机遇。
引用
@article{arxiv.2010.03179,
title = {Transfer Learning and Distant Supervision for Multilingual Transformer Models: A Study on African Languages},
author = {Michael A. Hedderich and David Adelani and Dawei Zhu and Jesujoba Alabi and Udia Markus and Dietrich Klakow},
journal= {arXiv preprint arXiv:2010.03179},
year = {2020}
}
备注
Accepted at EMNLP'20