评估教师与AI合作在入门社会学课程论文题评分中的应用
人工智能
2025-01-14 v1
摘要
本研究探讨了人工智能（AI）作为高等教育中论文题评分的辅助工具，重点关注其与人工评分的一致性以及减少偏见的潜力。使用来自一门入门社会学课程的70份手写考试，我们评估了生成式预训练变换器（GPT）模型在转录和评分学生回答方面的表现。GPT模型在转录和评分任务中均在不同设置下进行了测试。结果显示，人工转录与GPT转录之间具有高度相似性，其中GPT-4o-mini在准确性上优于GPT-4o。在评分方面，GPT与人工评分者得分显示出强相关性，尤其是在提供模板答案时。然而，差异仍然存在，突显了GPT作为“第二评分员”的作用，即标记不一致之处以供评估审查，而非完全取代人工评估。本研究为AI在教育领域的应用文献做出了贡献，展示了其在提高论文题评分公平性和效率方面的潜力。
引用
@article{arxiv.2501.06461,
title = {Assessing instructor-AI cooperation for grading essay-type questions in an introductory sociology course},
author = {Francisco Olivos and Tobias Kamelski and Sebastián Ascui-Gac},
journal= {arXiv preprint arXiv:2501.06461},
year = {2025}
}
备注
10 figures, 2 tables