Beto、Bentz、Becas：BERT令人惊讶的跨语言有效性
计算与语言
2019-10-04 v2
摘要
预训练上下文表示模型（Peters et al., 2018; Devlin et al., 2018）推动了诸多NLP任务的最先进水平。BERT（Devlin, 2018）的新发布版本包含一个同时在104种语言上预训练的模型，在自然语言推理任务上展现出令人印象深刻的零样本跨语言迁移性能。本文探讨了多语言BERT（mBERT）作为零样本语言迁移模型在5项NLP任务上的更广泛跨语言潜力，这些任务涵盖来自不同语系的共39种语言：NLI、文档分类、NER、POS标注和依存句法分析。我们将mBERT与已发表最佳的零样本跨语言迁移方法进行比较，发现mBERT在各项任务上均具竞争力。此外，我们研究了以这种方式利用mBERT的最有效策略，确定了mBERT在多大程度上泛化脱离语言特定特征，并度量了影响跨语言迁移的因素。
引用
@article{arxiv.1904.09077,
title = {Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT},
author = {Shijie Wu and Mark Dredze},
journal= {arXiv preprint arXiv:1904.09077},
year = {2019}
}
备注
EMNLP 2019 Camera Ready