变换器模型语法知识的系统性综述
计算与语言
2026-05-28 v2 人工智能
摘要
我们报告了337篇评估变换器（Transformer）基语言模型（TLMs）语法能力的综述研究，涉及超过3000个数据点，覆盖广泛的语法现象、语言、模型和方法。我们的数据共同显示，TLMs编码了相当数量的语法知识。行为证据表明其在形式语法现象上表现强劲，但在语法-语义接口处的现象上表现较弱且不稳定。此外，对于数字支持较弱的语言表现也始终较低。探测性研究和机制性研究进一步支持TLMs中存在语法知识。然而，由于大多数工作仍为观察性质，且当前方法方法学上差异异，洞察TLMs进行语法处理的详细计算机制仍有限。与此同时，文献集中在英语和类BERT模型上。我们讨论了结果的意义，并为未来研究提供了建议。
引用
@article{arxiv.2601.19926,
title = {The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models},
author = {Nora Graichen and Iria de-Dios-Flores and Gemma Boleda},
journal= {arXiv preprint arXiv:2601.19926},
year = {2026}
}