神经语言模型中句法一致机制的因果分析
计算与语言
2021-06-23 v3
摘要
定向句法评估已证明语言模型在困难语境下执行主谓一致的能力。为阐明模型实现此行为的机制,本研究将因果中介分析应用于预训练神经语言模型。我们考察了模型对语法屈折的偏好强度,以及神经元是否在不同句法结构的句子中以相似方式处理主谓一致。我们揭示了不同架构与模型规模之间的相似性与差异性——值得注意的是,更大的模型未必学到更强的偏好。我们还观察到,根据输入句子的句法结构不同,存在两种产生主谓一致的 distinct 机制。最后,我们发现当给定具有相似句法结构的句子时,语言模型依赖于相似的神经元集合。
引用
@article{arxiv.2106.06087,
title = {Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models},
author = {Matthew Finlayson and Aaron Mueller and Sebastian Gehrmann and Stuart Shieber and Tal Linzen and Yonatan Belinkov},
journal= {arXiv preprint arXiv:2106.06087},
year = {2021}
}
备注
Accepted to ACL-IJCNLP 2021