教师在平等训练中是否学习了？生成式 AI 能否评估它？
人机交互
2024-12-17 v1 人工智能
摘要
平等是学习分析的核心关注议题。然而，针对教育和评估平等技能的应用措手不及，尤其是大规模评估，常因语言评估障碍而受限。大型语言模型 (LLM) 驱动的生成式 AI 正在广泛应用于各类应用，本工作评估了其在平等领域的应用潜力。我们评估了 81 名在线教师在提升教师应对学生在可能不平等情境下表现的技能的课程中的表现。我们采用混合方法分析了 81 名非全日制教师的绩效。我们发现，教师在自我报告的置信度从前测到后测之间存在显著但边缘的学习增益。GPT-4o 和 GPT-4-turbo 在评估教师预测和解释最佳方法的能力方面均表现出色。在绩效、效率和成本之间进行权衡，我们确定，使用 GPT-4o 的零样本学习是首选模型。本工作提供了课程日志数据、教师回复、人工标注规范以及生成式 AI 提示语的数据集。未来工作将平衡情景的难度，并提升 LLM 提示语以实现大规模评分和评估。
引用
@article{arxiv.2412.11255,
title = {Do Tutors Learn from Equity Training and Can Generative AI Assess It?},
author = {Danielle R. Thomas and Conrad Borchers and Sanjit Kakarla and Jionghao Lin and Shambhavi Bhushan and Boyuan Guo and Erin Gatz and Kenneth R. Koedinger},
journal= {arXiv preprint arXiv:2412.11255},
year = {2024}
}
备注
Full research paper accepted to Learning Analytics and Knowledge (LAK 2025)