自动化人类导师式编程反馈：利用 GPT-4 导师模型生成提示并用 GPT-3.5 学生模型验证提示

生成式 AI 与大型语言模型通过自动为学生生成个性化反馈，在增强编程教育方面大有前景。我们研究了生成式 AI 模型在提供人类导师式编程提示以帮助学生在有错程序中解决错误方面的作用。近期工作已对最先进模型在各种反馈生成场景下进行基准测试；然而其整体质量仍劣于人类导师，尚未准备好实际部署。在本文中，我们力求推进生成式 AI 模型的极限以提供高质量编程提示，并开发了一项新技术 GPT4Hints-GPT3.5Val。作为第一步，我们的技术利用 GPT-4 作为“导师”模型生成提示——它通过在提示中使用失败测试用例和修复的符号信息来提升生成质量。作为下一步，我们的技术利用较弱的模型 GPT-3.5 作为“学生”模型进一步验证提示质量——它通过模拟提供该反馈的潜在效用进行自动质量验证。我们使用三个真实的 Python 程序数据集（涵盖从基础算法到正则表达式及使用 pandas 库的数据分析等多种概念）通过大量评估展示了我们技术的有效性。