TAMIGO：面向高级计算课程的 LLM 辅助助教 viva 与代码评估
人机交互
2024-07-25 v1 计算机与社会
摘要
大型语言模型（Large Language Models，LLMs）正在显著改变教育格局，为学生、教师和助教提供新工具。本文探讨了将 LLM 应用于印度某大学面向分布式系统的高级计算课程中，辅助助教进行 viva 与代码评估的做法。我们开发了 TAMIGO，一个基于 LLM 的助教系统，用于评估编程作业。在 viva 评估方面，助教使用 TAMIGO 生成问题并将这些问题分发给学生答题。随后，助教利用 TAMIGO 生成对学生答案的反馈。在代码评估方面，助教从学生提交的代码块中选取特定代码块输入 TAMIGO，以生成这些代码块的反馈。所生成的反馈用于助教的进一步评估。我们评估了 LLM 生成的 viva 问题、模型答案、对 viva 答案的反馈以及对学生代码提交的反馈质量。结果表明，LLM 在获得充足上下文和背景信息的情况下，能够高效生成 viva 问题。然而，LLM 生成的 viva 答案反馈结果呈现混合态样子；尽管偶尔出现幻觉会降低反馈准确性，但反馈仍然一致、建设性、全面、平衡，且未令助教感到负担。对于代码提交，LLM 生成的反馈也具有建设性、全面和平衡，但在与教师提供的代码评估评分标准一致性方面仍有提升空间。我们的发现为理解将 LLM 集成到教育场景中的优势与局限性提供了依据。
引用
@article{arxiv.2407.16805,
title = {TAMIGO: Empowering Teaching Assistants using LLM-assisted viva and code assessment in an Advanced Computing Class},
author = {Anishka IIITD and Diksha Sethi and Nipun Gupta and Shikhar Sharma and Srishti Jain and Ujjwal Singhal and Dhruv Kumar},
journal= {arXiv preprint arXiv:2407.16805},
year = {2024}
}
备注
Under review