从答题到认知支架：面向英语标准化考试的教学诊断基准
计算与语言
2026-05-01 v2 人工智能
摘要
随着大语言模型（LLM）越来越多地集成到教育工具中，当前对标准化考试的评估主要关注二元结果准确率。相反，有效的人工智能导师必须表现出忠实的推理，阐明解题策略，并诊断特定的人类误解。为弥合这一差距，我们引入了一个教学诊断框架，将英语标准化考试（EST）问题解决建模为遍历认知框架。基于该框架，我们提出ESTBook，一个包含 10,576 个问题和 29 种任务类型的多模态基准，覆盖五个主要考试。不同于传统数据集，ESTBook 通过丰富问题的形式化推理轨迹和干扰项理由来超越数据聚合，这些理由捕捉特定认知陷阱。通过广泛的评估，我们实证证明了诊断框架的实际用途，表明识别认知轨迹有助于缩小绩效差距并通过引导诱导提高教学推理。
引用
@article{arxiv.2505.17056,
title = {From Test-taking to Cognitive Scaffolding: A Pedagogical Diagnostic Benchmark for LLMs on English Standardized Tests},
author = {Luoxi Tang and Tharunya Sundar and Yuqiao Meng and Shuai Yang and Ankita Patra and Lakshmi Manohar Chippada and Jiqian Zhao and Yi Li and Weicheng Ma and Zhaohan Xi},
journal= {arXiv preprint arXiv:2505.17056},
year = {2026}
}