利用讲座内容改进反馈：基于 GPT-4 与检索增强生成的探索
计算与语言
2024-09-16 v1 人工智能
计算机与社会
摘要
本文展示了使用检索增强生成（RAG）来改进大型语言模型为编程任务生成的反馈。为此，我们将相应的讲座录音转录为文本，并通过 RAG 将其作为外部知识源，连同时间戳作为元信息，提供给大型语言模型 GPT-4。此举旨在防止幻觉，并强制使用讲座中的技术术语和短语。在一个为入门编程讲座解决编程问题而开发的练习平台上，学生可以请求 GPT-4 对其解决方案生成反馈。对于此任务，GPT-4 接收学生的代码解决方案、编译器输出、单元测试结果以及通过 RAG 获取的讲义相关段落作为额外上下文。GPT-4 生成的反馈应引导学生独立解决问题，并利用转录文本的时间戳作为元信息链接到讲座内容。通过这种方式，学生可以立即跳转到对应讲座视频的相应位置。为了进行评估，学生们在一次工作坊中使用了该工具，并对每条反馈是否应通过 RAG 进行扩展做出决定。基于问卷和收集的使用数据的初步结果表明，使用 RAG 可以改进反馈生成，并且在某些情况下受到学生青睐。由于反馈生成速度较慢，其优势取决于具体情境。
引用
@article{arxiv.2405.06681,
title = {Leveraging Lecture Content for Improved Feedback: Explorations with GPT-4 and Retrieval Augmented Generation},
author = {Sven Jacobs and Steffen Jaschke},
journal= {arXiv preprint arXiv:2405.06681},
year = {2024}
}
备注
accepted at CSEE&T 2024: 36th International Conference on Software Engineering Education and Training, W\"urzburg, Germany