多语言语言模型中句法一致性神经元的因果分析
计算与语言
2022-10-27 v1
摘要
结构探针工作在预训练语言模型中发现了潜在句法信息的证据。然而，这些分析大多集中于单语模型，且对多语言模型的分析采用了受探针任务选择混淆的相关性方法。在本研究中，我们对多语言语言模型（XGLM 和多语言 BERT）以及跨多种语言的单语 BERT 模型进行了因果探针分析；我们通过对神经元激活执行反事实扰动并观察其对模型主谓一致性概率的影响来实现这一点。我们观察了模型中句法一致性在各语言中被编码的位置及程度。我们在自回归多语言语言模型中发现了跨语言的显著神经元重叠，但在掩码语言模型中未发现此现象。我们还发现了两种不同的层级效应模式以及两组用于句法一致性的不同神经元集合，其取决于主语和动词之间是否被其他词元分隔。最后，我们发现语言模型的行为分析可能低估了掩码语言模型对句法信息的敏感程度。
引用
@article{arxiv.2210.14328,
title = {Causal Analysis of Syntactic Agreement Neurons in Multilingual Language Models},
author = {Aaron Mueller and Yu Xia and Tal Linzen},
journal= {arXiv preprint arXiv:2210.14328},
year = {2022}
}
备注
Accepted to CoNLL 2022