探究多层级 GPT 生成的编程提示如何支持或令初学者失望

近期的研究已将大型语言模型 (LLMs) 整合到多种教育场景中，包括提供自适应编程提示，这是一种专注于帮助学生在解决问题过程中继续前进的反馈。然而，现有大多数基于 LLM 的提示系统仅限于单一提示类型。为了探究不同层级的提示是否以及如何支持学生的问题解决与学习，我们使用 LLM Hint Factory 对 12 名初学者进行了出声思考研究，该系统提供从通用自然语言指导到具体代码辅助的四个层级的提示，在格式和粒度上有所不同。我们发现，仅凭高层级的自然语言提示可能无济于事甚至具有误导性，特别是在处理下一步或语法相关的帮助请求时。加入较低层级的提示，如带有行内注释的代码示例，可以更好地支持学生。这些发现为未来的工作开辟了道路，即从内容、格式和粒度级别定制帮助响应，以准确识别并满足学生的学习需求。