大型语言模型是否掌握语法？基于卢森堡语料引导的探测分析

语法指的是支配语言中句子、短语及单词等语言单位结构及语义关系的规则体系。在自然语言处理领域，仍缺乏以语法为导向的评估协议，尤其针对低资源语言。这一现象在评估大型语言模型是否真正理解语法结构——特别是语法结构与语义之间的映射——方面尚存争议。为此，我们提出了基于语法书籍的评估管道（Grammar Book Guided evaluation pipeline），旨在提供系统且可推广的语法评估框架。本文以卢森堡语（Luxembourgish）为案例研究。结果显示，翻译性能与语法理解之间存在较弱的正相关，表明优秀的翻译并不必然意味着深层的语法能力。大型模型总体表现良好，主要得益于其语义能力，但在形态学和句法方面仍显薄弱，尤其在最小配对任务（Minimal Pair tasks）中表现不佳；同时，强推理能力为提升其语法理解提供了可行之道。