面对 GPT-4 的远程考试形式经验

对 open-ai 快速改进的大语言模型 GPT 的突然访问迫使全球教育机构重新审视其考试流程。在 GPT 前时代，我们成功地对以远程为主的软件工程理学学士（BSc）项目第三年的两门课程应用了口试和开卷家庭考试。我们在本文中询问我们当前的开卷考试是否仍然可行，或者回归到法律合规但可扩展性较差的口试是否是唯一可行的替代方案。我们进一步比较口试和开卷考试之间的工作量估计，并报告八年来吞吐量和成绩分布的差异，以更好地理解考试形式对结果的影响。在最近的开卷考试上测试 GPT v4 表明我们当前的人工智能和响应式编程考试并非 GPT v4 -proof。概述了 GPT 的三个潜在弱点。我们还发现成绩分布大体上不受考试形式影响，仅在需要时才开放向仅口试的转变。开卷考试课程实例的吞吐量更高（73% 对比 64%），而不及格率也更高（12% 对比 7%），即使对于较小班级教师工作量也在增加。我们还报告了关于工作量的经验。口试对较小群体高效，但伴随关于强度和压力的注意事项。