从初稿到最终洞见：基于多智能体的反馈生成方法
人机交互
2025-05-09 v1
摘要
大规模高质量、及时反馈的产出对教师来说提出了重大挑战。为此，自动化技术——尤其是大型语言模型（Large Language Models, LLMs）——显示出巨大的潜力。然而，当前的 LLM-based 研究在反馈质量方面仍有提升空间。我们提出一种多智能体方法，进行“生成、评估、再生成”（generation, evaluation, and regeneration, G-E-RG）以进一步提升反馈质量。在生成阶段，我们采用六种方法，结合三种反馈理论框架和两种提示方法：零样本和检索增强生成式链路思考（retrieval-augmented generation with chain-of-thought, RAG_CoT）。结果表明，与第一轮反馈相比，G-E-RG 在六种方法中大多数维度上显著提升了最终反馈质量。具体而言：（1）六种方法的评估准确率提升了 3.36% 到 12.98%（p<0.001）；（2）包含四类有效组成部分的反馈比例从六种方法的平均 27.72% 提升至平均 98.49%；（3）提供批评、突出优势、鼓励主动性、培养对话等子维度的反馈比例也显著提升（p<0.001）；（4）尽管某些子维度（如加强师生关系）仍需进一步提升，但大多数特征值均显著改善（p<0.001）；（5）三种方法的反馈简洁性也得到有效提升（p<0.001）。
引用
@article{arxiv.2505.04869,
title = {From First Draft to Final Insight: A Multi-Agent Approach for Feedback Generation},
author = {Jie Cao and Chloe Qianhui Zhao and Xian Chen and Shuman Wang and Christian Schunn and Kenneth R. Koedinger and Jionghao Lin},
journal= {arXiv preprint arXiv:2505.04869},
year = {2025}
}
备注
14 pages, to be published at the 26th International Conference on Artificial Intelligence in Education (AIED '25)