IRT评分与顺序一致性原则
应用统计
2018-05-03 v1
摘要
IRT模型在全球范围内越来越多地被用于测验构建与评分。本研究考察了在纸笔高风险测验中使用2PL和3PL模型估计个体分数的实际影响，特别是使用IRT评分时顺序一致性原则是否成立。该原则指出，学生A如果答对的学生B更多或难度更大的题目，其得分应高于学生B。使用智利国家数学入学考试的实际分数进行分析的结果表明，在使用2PL或3PL模型评分时该原则并不成立。答对更多且更难题目的学生可能会被赋予较低的分数。通过考察数学模型可以解释这些发现，因为估计的能力分数是答对题目累积估计区分度的递增函数，而非其难度的递增函数。因此，对于高风险测验，使用复杂模型的决定应成为政策制定者和测验专家认真审议的问题，因为公平性和透明度可能会受到损害。
引用
@article{arxiv.1805.00874,
title = {IRT scoring and the principle of consistent order},
author = {Nancy Lacourly and Jaime San Martin and Monica Silva and Paula Uribe},
journal= {arXiv preprint arXiv:1805.00874},
year = {2018}
}
备注
15 pages, 8 figures, 1 table