同行辅助修复器:赋能大语言模型修复高级学生作业
软件工程
2024-04-03 v1 人工智能
摘要
编程作业反馈的自动生成对编程教育具有显著益处,尤其是在处理高级作业时。自动程序修复技术,尤其是基于大语言模型的方法,在修复入门级作业方面已获得显著认可。然而,用于评估的程序相对简单。现有方法在修复高级编程课程程序方面的表现尚不清楚。为解决这些局限,我们从一门高级编程课程中整理了一个新的高级学生作业数据集Defects4DS。随后,我们识别了修复高级作业中错误的相关挑战。基于分析,我们开发了一个由大语言模型驱动的框架PaR。PaR分三个阶段工作:同行解决方案选择、多源提示生成和程序修复。同行解决方案选择基于词汇、语义和句法标准识别紧密相关的同行程序。然后,多源提示生成巧妙地将多种信息源组合成全面且信息丰富的提示,用于最后的程序修复阶段。在Defects4DS和另一个经过充分研究的ITSP数据集上的评估表明,PaR实现了新的最先进性能,与先前最先进的基于大语言模型和基于符号的方法相比,修复率分别提升了19.94%和15.2%。
引用
@article{arxiv.2404.01754,
title = {Peer-aided Repairer: Empowering Large Language Models to Repair Advanced Student Assignments},
author = {Qianhui Zhao and Fang Liu and Li Zhang and Yang Liu and Zhen Yan and Zhenghao Chen and Yufei Zhou and Jing Jiang and Ge Li},
journal= {arXiv preprint arXiv:2404.01754},
year = {2024}
}
备注
On-going work