R2DE：一种用于估计新生成题目 IRT 参数的自然语言处理方法
机器学习
2020-01-22 v1 计算与语言
机器学习
摘要
考试的主要目标在于评估学生在特定学科上的专业水平。这种专业水平，也称为技能或知识水平，可以以不同方式加以利用（例如，给学生打分、判断学生是否需要某些支持等）。类似地，考试中的题目在用于评估学生之前，必须以某种方式进行评定。题目评定的标准方法要么是主观的（例如，由人类专家评定），要么会在题目生成过程中引入较长的延迟（例如，用真实学生进行预测试）。在本工作中，我们提出 R2DE（即难度与区分度估计回归器，Regressor for Difficulty and Discrimination Estimation），一种能够通过查看题目文本和选项文本来评估新生成选择题的模型。具体而言，它可以估计每道题目的难度和区分度，正如项目反应理论（Item Response Theory, IRT）中所定义的那样。我们还展示了在一个来自在线学习平台的真实大规模数据集上进行的广泛实验结果，表明我们的模型可用于对新创建的题目进行初步评估，并缓解题目生成中出现的一些问题。
引用
@article{arxiv.2001.07569,
title = {R2DE: a NLP approach to estimating IRT parameters of newly generated questions},
author = {Luca Benedetto and Andrea Cappelli and Roberto Turrin and Paolo Cremonesi},
journal= {arXiv preprint arXiv:2001.07569},
year = {2020}
}