在多语言 BERT 中发现通用语法关系
计算与语言
2020-05-21 v2 机器学习
摘要
近期研究发现，基于 Transformer 的多语言掩码语言模型多语言 BERT（mBERT）能够进行零样本跨语言迁移，这表明其表示中的某些方面是跨语言共享的。为了更好地理解这种重叠，我们将近期关于在神经网络内部表示中寻找句法树的工作扩展到多语言环境。我们表明，mBERT 表示的子空间能够恢复英语以外语言中的句法树距离，并且这些子空间在不同语言间近似共享。受这些结果启发，我们提出了一种无监督分析方法，该方法提供的证据表明 mBERT 以聚类的形式学习了句法依存标签的表示，这些聚类在很大程度上与通用依存（Universal Dependencies）分类法一致。这一证据表明，即使没有显式监督，多语言掩码语言模型也能学习某些语言普遍性。
引用
@article{arxiv.2005.04511,
title = {Finding Universal Grammatical Relations in Multilingual BERT},
author = {Ethan A. Chi and John Hewitt and Christopher D. Manning},
journal= {arXiv preprint arXiv:2005.04511},
year = {2020}
}
备注
To appear in ACL 2020; Farsi typo corrected