你怀疑吗？哦，那可能很难！探索利用模型不确定性进行问题难度估计
计算与语言
2025-04-21 v2
摘要
在教育环境中，对多项选择题（MCQ）难度的估计——一种评估学习进度的常用策略——对教师和学生都是非常有用的信息。由于人工评估在多个方面成本高昂，因此研究了自动估计MCQ题目难度的方法，但迄今为止结果好坏参半。我们解决这个问题的方法与以往工作不同：让各种大型语言模型处理三个不同MCQ数据集中的问题，我们利用模型不确定性来估计题目难度。通过使用模型不确定性特征以及文本特征作为随机森林回归器的输入，我们表明不确定性特征对难度预测有显著贡献，其中难度与学生能正确回答问题的数量成反比。除了展示我们方法的价值外，我们还观察到我们的模型在公开可用的USMLE和CMCQRD数据集上取得了最先进的结果。
引用
@article{arxiv.2412.11831,
title = {Are You Doubtful? Oh, It Might Be Difficult Then! Exploring the Use of Model Uncertainty for Question Difficulty Estimation},
author = {Leonidas Zotos and Hedderik van Rijn and Malvina Nissim},
journal= {arXiv preprint arXiv:2412.11831},
year = {2025}
}
备注
14 pages,7 figures