PyEvalAI：面向 Jupyter 笔记本的 AI 辅助评估系统
人工智能
2025-02-26 v1
摘要
在 STEM 课程中，对学生作业进行评估是教师的繁琐和重复的工作，通常需要一周时间才能评估整个班级。对于学生来说，这种反馈延迟会阻止对错误解决方案的迭代，阻碍学习，并增加当练习得分决定最终考试资格时的压力。近期的 AI 辅助教育进展，如自动评分和辅导系统，旨在通过提供即时反馈和减少评估工作量来解决这些挑战。然而，现有解决方案往往不足之处在于隐私 concerns、依赖专有闭源模型、缺乏对结合 Markdown、LaTeX 和 Python code 的支持，或排除课程教师参与评估过程。为了克服这些限制，我们引入了 PyEvalAI，一个 AI 辅助评估系统，该系统使用 unit tests 和本地托管语言模型的组合来自动对 Jupyter 笔记本进行评分，以 preserve 隐私。我们的 method 是 free、open-source 的，并确保教师 maintain 对评估 process 的 full control。案例研究表明，该系统在提高反馈速度和评估 efficiency 方面效果显著，适用于大学水平课程中关于数值计算的练习。
关键词
引用
@article{arxiv.2502.18425,
title = {PyEvalAI: AI-assisted evaluation of Jupyter Notebooks for immediate personalized feedback},
author = {Nils Wandel and David Stotko and Alexander Schier and Reinhard Klein},
journal= {arXiv preprint arXiv:2502.18425},
year = {2025}
}