多语言BERT的跨语言能力：一项实证研究
计算与语言
2020-02-18 v2 人工智能
机器学习
摘要
近期工作展示了多语言BERT（M-BERT）令人惊讶的跨语言能力——之所以令人惊讶，是因为它训练时无任何跨语言目标且未使用对齐数据。在本工作中，我们全面研究了M-BERT中不同组件对其跨语言能力的贡献。我们考察了语言的语言学属性、模型架构以及学习目标的影响。实验研究在三种类型学上不同的语言（西班牙语、印地语和俄语）背景下进行，并使用了两个概念上不同的NLP任务：文本蕴涵与命名实体识别。我们的关键结论之一是，语言间的词汇重叠在跨语言成功中作用甚微，而网络的深度则是其不可或缺的组成部分。我们所有的模型与实现可在项目页找到：http://cogcomp.org/page/publication_view/900 。
引用
@article{arxiv.1912.07840,
title = {Cross-Lingual Ability of Multilingual BERT: An Empirical Study},
author = {Karthikeyan K and Zihan Wang and Stephen Mayhew and Dan Roth},
journal= {arXiv preprint arXiv:1912.07840},
year = {2020}
}