利用生成式 AI 提升编程教育竞赛的自动化评估
软件工程
2025-09-30 v1 人工智能
计算机与社会
机器学习
摘要
竞争编程竞赛在培养计算思维和算法技能方面发挥着关键作用。然而，为编程解决方案生成全面的测试用例以有效评估仍然在教育工作者中具有资源密集且具挑战性。本文引入一种创新的自然语言处理驱动的方法，利用生成式 AI（大型语言模型）自动创建高质量的竞争编程评估测试用例。我们在多样化的数据集上广泛评估了该方法，包括 25 年罗马尼亚 Informatics 奥林匹克（OJI）5 年级数据、最近在 Kilonova.ro 平台上举办的竞赛，以及 International Informatics Olympiad in Teams（IIOT）。我们的结果表明，AI 生成的测试用例显著增强了评估，尤其在发现 OJI 5 年级编程问题中先前未检测到的错误方面达到了 67%。这些改进凸显了该技术在形成性评估情境中的互补教育价值。通过公开分享我们的提示、翻译后的数据集和方法，我们提供了可供教育工作者和竞赛组织者轻松集成以提升评估质量、减少工作负担并深入了解学习者表现的实用 NLP 工具。
引用
@article{arxiv.2506.05990,
title = {Leveraging Generative AI for Enhancing Automated Assessment in Programming Education Contests},
author = {Stefan Dascalescu and Adrian Marius Dumitran and Mihai Alexandru Vasiluta},
journal= {arXiv preprint arXiv:2506.05990},
year = {2025}
}
备注
11 pages, 2 chart pies, 1 figure Pre-print version Accepted at BEA 2025