基于Shapley Head Value的值语言模型语言学 grounding 分析
计算与语言
2025-02-26 v2
摘要
理解语言知识如何编码在语言模型中对于提高其泛化能力至关重要。本文我们利用近期提出的通过Shapley Head Value (SHV) 对语言模型进行探测的方法，来探讨morphosyntactic现象的处理。我们采用英语BLiMP数据集，对所提出的方法在两个广泛使用的数据集BERT和RoBERTa上进行测试，并比较诸如指代同 agreement 和填空符依赖等语言构造的处理方式。通过定量修剪和定性聚类分析，我们展示了负责处理相关语言现象的注意力头彼此聚簇。我们的结果显示，基于SHV的归因在两个模型之间显示出不同的模式，为语言模型组织和处理语言信息的方式提供了见解。这些发现支持语言模型学习对应于语言理论子网络的假设，这对跨语言模型分析和自然语言处理中的可解释性具有潜在影响。
引用
@article{arxiv.2410.13396,
title = {Linguistically Grounded Analysis of Language Models using Shapley Head Values},
author = {Marcell Fekete and Johannes Bjerva},
journal= {arXiv preprint arXiv:2410.13396},
year = {2025}
}