CxMP：用于评估语言模型构造理解的语言学最小对基准
计算与语言
2026-02-26 v1
摘要
近期研究从语言学角度考察语言模型，以更好地理解其语言习得方式。大多数现有基准关注判断语法可接受性，而对理解语法形式所传递意义的能力关注较少。我们引入了基于构造语法（Construction Grammar）的语言学最小对基准，用于评估语言模型中的构造理解能力（CxMP）。该基准将形式-意义配对（即构造）视为基本语言单位，采用受控的最小对设计，覆盖九种构造类型，包括let-alone 构造、运动因果构造和双向受事者构造。我们的结果表明，尽管语法能力较早便显现，构造理解却发展得更为渐进，即便在大型语言模型中也表现有限。因此，CxMP 揭示了语言模型在形式与意义集成方面的持续性差距，为研究构造理解及其学习轨迹提供了框架。
引用
@article{arxiv.2602.21978,
title = {CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models},
author = {Miyu Oba and Saku Sugawara},
journal= {arXiv preprint arXiv:2602.21978},
year = {2026}
}