探索 LLM 生成的经济学论文反馈：教学助理的评估与未来应用愿景
摘要
本项目考察了将 AI 生成的反馈作为建议用于加速和提升人类教师反馈提供的前景。具体而言，我们聚焦于了解教学助理对 AI 生成反馈质量的看法，以及他们可能以何种方式或何种方式利用 AI 反馈。我们将工作置于基础大学经济学课程中，该课程常有短篇作文作业。我们开发了一个基于大语言模型的反馈引擎，根据教学助理使用的评分标准为学生的作文生成反馈。为确保教学助理能够对 AI 反馈进行有意义的批评和互动，我们让他们完成常规的评分工作。随后，我们为他们随机挑选的部分作文使用反馈引擎生成反馈，并将反馈以文内注释形式显示在 Word 文档中。我们随后进行了 20 场时长为 1 小时的思考发声研究，让 5 位教学助理评估 AI 反馈，比较 AI 反馈与他们手写反馈之间的差异，并分享他们若将 AI 反馈作为建议如何使用时的想法。该研究强调了为知识密集型作文提供高质量反馈的重要性，教学助理认为，在评分过程中将 AI 反馈作为建议使用可以加速评分、提高一致性，并提升整体反馈质量。我们讨论了将反馈生成任务分解为步骤并呈现中间结果的重要性，以便教学助理能够使用 AI 反馈。
引用
@article{arxiv.2505.15596,
title = {Exploring LLM-Generated Feedback for Economics Essays: How Teaching Assistants Evaluate and Envision Its Use},
author = {Xinyi Lu and Aditya Mahesh and Zejia Shen and Mitchell Dudley and Larissa Sano and Xu Wang},
journal= {arXiv preprint arXiv:2505.15596},
year = {2025}
}
备注
To be published in AIED'2025: In Proceedings of the 26th International Conference on Artificial Intelligence in Education. The system prompt and example feedback can be found through http://github.com/UM-Lifelong-Learning-Lab/AIED2025-Exploring-LLM-Generated-Feedback-for-Economics-Essay