CODE-GEN：基于人类在环RAG的智能体AI系统用于多选题生成
人工智能
2026-04-09 v1 计算机与社会
人机交互
多智能体系统
摘要
我们提出CODE-GEN，一个人类在环的、基于检索增强生成（RAG）的智能体AI系统，用于生成与课程特定学习目标一致的多选题，以发展学生的代码推理和理解能力。CODE-GEN采用智能体AI架构，其中Generator代理生产与学习目标一致的多选题编码理解问题，而Validator代理独立评估内容质量，涵盖七个教育学维度。两个代理都与专用工具相结合，以增强计算准确性并验证代码输出。为了评估CODE-GEN的有效性，我们进行了评估研究，涉及六位专业人士（SMEs），他们对288个AI生成的问题进行评判。SMEs共对2,016个人类-AI评分对进行评判，表明他们是否同意Validator的评估，以及131个定性反馈实例。SME评判分析显示，系统性能优异，人类验证的成功率在七个教育学维度上范围为79.9%至98.6%。定性反馈分析表明，CODE-GEN在计算验证和显式准则匹配方面表现突出，包括问题清晰度、代码有效性、概念一致性和正确答案有效性。在 contrastively，人类专长对于需要更深教育判断力的维度仍至关重要，例如设计有意义的干扰项和提供强化理解的高质量反馈。这些发现为AI辅助教育内容生成中人类与AI努力的合理分配提供了指导。
引用
@article{arxiv.2604.03926,
title = {CODE-GEN: A Human-in-the-Loop RAG-Based Agentic AI System for Multiple-Choice Question Generation},
author = {Xiaojing Duan and Frederick Nwanganga and Chaoli Wang},
journal= {arXiv preprint arXiv:2604.03926},
year = {2026}
}
备注
Full version of the paper accepted as a short paper at the 27th International Conference on Artificial Intelligence in Education (AIED 2026)