告诉我你的学生是谁：当暗示学生的（错误）理解时，GPT能生成有效的多选题
计算与语言
2025-08-08 v2
摘要
本研究的主要目标是开发并评估一种创新的提示技术AnaQuest，用于使用预训练大语言模型生成多选题（MCQ）。在AnaQuest中，选项是关于复杂概念的句子级断言。该技术整合了形成性评估和总结性评估。在形成性阶段，学生以自由文本形式回答关于目标概念的开放式问题。对于总结性评估，AnaQuest分析这些回答以生成正确和错误的断言。为评估生成的多选题的有效性，应用项目反应理论（IRT）比较了由AnaQuest、基线ChatGPT提示和人工编写的项目之间的项目特征。一项实证研究发现，专家教师评定两种AI模型生成的多选题与人类教师编写的题目同样有效。然而，基于IRT的分析揭示，AnaQuest生成的题目——特别是那些带有错误断言（干扰项）的题目——在难度和区分度方面比ChatGPT生成的题目更接近人工编写的题目。
引用
@article{arxiv.2505.05815,
title = {Tell Me Who Your Students Are: GPT Can Generate Valid Multiple-Choice Questions When Students' (Mis)Understanding Is Hinted},
author = {Machi Shimmei and Masaki Uto and Yuichiroh Matsubayashi and Kentaro Inui and Aditi Mallavarapu and Noboru Matsuda},
journal= {arXiv preprint arXiv:2505.05815},
year = {2025}
}
备注
This is a pre-print version of a paper to appear in AIED2025. The camera-ready version is available at https://link.springer.com/chapter/10.1007/978-3-031-99264-3_16