GPT-4 在设计类大学生作业评分与反馈中的应用：一项探索性研究

本研究旨在探讨 GPT-4 能否有效为设计专业大学生的作业评分并提供有用的反馈。在设计教育中，作业没有单一正确答案，通常涉及解决一个开放式的设计问题。设计项目的这种主观性常常导致评分问题，因为不同评分者（例如，具有工程背景或建筑背景的教师）给出的分数可能不同。本研究采用迭代研究方法开发一个自定义 GPT，旨在获得更可靠的结果，并测试其能否为设计专业学生提供建设性反馈。研究结果包括：首先，经过几轮迭代，GPT 与人类评分者之间的评分者间信度达到了教育工作者普遍接受的水平。这表明，通过向 GPT 提供准确的提示，并持续迭代以构建自定义 GPT，它可以有效地用于学生设计作业的评分，作为人类评分者的可靠补充。其次，GPT 在不同时间评分的评分者内信度在 0.65 到 0.78 之间。这表明，在有充分指令的情况下，自定义 GPT 能给出稳定的结果，这是为学生评分的前提条件。由于一致性和可比性是确保教育评估可靠性的两个主要规则，本研究探讨了能否开发出遵循这两条规则的自定义 GPT。最后，我们测试了自定义 GPT 能否为学生提供有用的反馈，并反思了教育工作者如何开发和迭代自定义 GPT 以作为补充评分者。