狗追的猫难倒了模型:衡量语言模型何时放弃结构而走捷径
计算与语言
2026-01-21 v2 人工智能
摘要
当语言模型正确解析 "The cat that the dog chased meowed" 时,它究竟是在分析句法,还是仅仅熟悉狗追猫这一搭配?尽管已有大量基准测试,我们仍缺乏区分结构理解与语义模式匹配的方法。我们提出了 CenterBench,这是一个包含 9,720 个中心嵌套句理解问题的数据集(例如 "The cat [that the dog chased] meowed"),其中关系从句以递归方式嵌套,产生从简单到深度嵌套的处理需求。每个句子都有一个句法相同但语义不合理的对应句(例如邮递员开药、医生送邮件),以及六个测试表层理解、句法依存与因果推理的理解问题。对六个模型的测试表明,合理句与不合理句之间的性能差距随复杂度系统性地扩大,模型表现出的差距中位数高达 26.8 个百分点,从而量化了它们何时放弃结构分析而转向语义关联。值得注意的是,在涉及结果行为的问题上,语义合理性反而损害了性能,因为在这些情形下遵循因果关系比语义连贯性更为重要。推理模型提升了准确率,但其思维链中仍存在语义捷径、过度思考与拒绝作答的现象。与模型中合理性优势随复杂度系统性扩大的现象不同,人类表现出可变的语义效应。CenterBench 提供了首个用于识别模型何时从结构分析转向模式匹配的框架。
引用
@article{arxiv.2510.20543,
title = {The Dog the Cat Chased Stumped the Model: Measuring When Language Models Abandon Structure for Shortcuts},
author = {Sangmitra Madhusudan and Kaige Chen and Ali Emami},
journal= {arXiv preprint arXiv:2510.20543},
year = {2026}
}
备注
9 pages (excluding references), accepted to EACL 2026 Main Conference