多语言 BERT 中的跨语言句法差异：其表现如何及如何影响迁移？
计算与语言
2022-12-22 v1
摘要
多语言 BERT（mBERT）已展现出可观的跨语言句法能力，使其能够有效地零样本跨语言迁移句法知识。这种迁移在某些语言之间更为成功，但何种原因导致此差异以及它是否公正地反映了语言间的差异尚不清楚。本工作中，我们在 24 种类型学不同语言背景下，考察了从 mBERT 诱导出的语法关系分布。我们证明不同语言分布之间的距离与基于语言学形式主义的句法差异高度一致。这种通过自监督学习到的差异在零样本迁移性能中起着关键作用，并可由语言间形态句法属性的差异所预测。这些结果表明 mBERT 以符合语言多样性的方式恰当地编码了语言，并为跨语言迁移的机制提供了见解。
引用
@article{arxiv.2212.10879,
title = {Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer?},
author = {Ningyu Xu and Tao Gui and Ruotian Ma and Qi Zhang and Jingting Ye and Menghan Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2212.10879},
year = {2022}
}
备注
EMNLP 2022