基于心理测量评估 AI 辅助物理考试批改信心：探索性研究
物理教育
2025-04-09 v1
摘要
本研究探讨了人工智能在高风险物理考试批改中的应用，重点运用心理测量方法，特别是项目反应理论（IRT），来评估 AI 辅助批改的可靠性。我们考察如何迭代细化评分规范，以及如何确定阈值参数以判断 AI 生成的成绩何时可靠，何时需要人工介入。通过调整正确性措施和不确定性的阈值，AI 可实现高精度批改，显著减少批改工作量，同时保持准确性。我们的发现表明，当 AI 处理批改工作量的一半时，决定系数可达 ；当处理五分之一工作量时，。这些结果表明 AI 有潜力在大规模评估中发挥作用，减少人力成本。然而，本研究强调在不确定性或复杂问题解决情况下仍需人工监督，以确保批改过程的完整性。
引用
@article{arxiv.2410.19409,
title = {Assessing Confidence in AI-Assisted Grading of Physics Exams through Psychometrics: An Exploratory Study},
author = {Gerd Kortemeyer and Julian Nöhl},
journal= {arXiv preprint arXiv:2410.19409},
year = {2025}
}