Scratch Copilot 评估：面向家庭的 AI 辅助创意编程考量

AI 如何提升家庭的创意编程体验？本研究探讨了大型语言模型（LLMs）在帮助家庭使用 Scratch 进行创意编程方面的潜力。基于我们之前涉及原型 AI 助手的用户研究，我们设计了三种评估场景，以确定 LLMs 是否能够帮助家庭理解游戏代码、调试程序以及为未来项目生成新想法。我们在每个场景中使用了 22 个 Scratch 项目，并生成了有和没有练习任务的 LLM 响应，从而产生了 120 个创意编程支持场景数据集。此外，作者独立评估了这些响应的准确性、教学价值和适合年龄的语言。我们的研究结果表明，LLMs 在不同任务和评估标准上的总体成功率超过 80%。本研究为在家庭创意编程中使用 LLMs 提供了有价值的信息，并为未来 AI 支持的编程应用提出了设计指南。我们的评估框架以及标注的评估数据已公开可用。