不同类型的句法一致性在大语言模型中招募相同的单元
计算与语言
2026-04-14 v2
摘要
大型语言模型（LLMs）能够可靠地区分语法正确与不完整的句子，但如何在模型内部表示语法知识仍是一个开放的问题。我们研究不同句法现象是否在 LLMs 中招募共享或独立的组件。采用受认知神经科学启发的功能局部化方法，我们识别出 67 种英语句法现象在七个开源权重模型中最敏感的单元。这些单元在包含这些现象的句子中都被一致地招募，并且在因果上支持模型的句法性能。关键的是，不同类型的句法一致性（例如主语-动词、反指代、冠词-名词）招募重叠的单元集合，这表明一致性对 LLMs 而言是一个有意义的功能类别。这种模式在英语、俄语和中文中都成立；进一步地，在 57 种多样化语言的跨语言分析中，结构上更相似的语言在主语-动词一致性上共享更多单元。综合来看，这些发现揭示了句法一致性——这一是句法依赖性关键标记——在 LLMs 的表示空间中构成一个有意义的类别。
引用
@article{arxiv.2512.03676,
title = {Different types of syntactic agreement recruit the same units within large language models},
author = {Daria Kryvosheieva and Andrea de Varda and Evelina Fedorenko and Greta Tuckute},
journal= {arXiv preprint arXiv:2512.03676},
year = {2026}
}