破解密码：评估为提供编程反馈的零样本提示方法
软件工程
2024-12-23 v1
摘要
尽管大型语言模型 (LLM) 用于提供反馈的使用日益增长，但有限的研究探索如何实现高质量反馈。本案例研究引入了一个评估框架，用于评估不同的零样本提示工程方法。我们系统地变异了提示，并分析了对 R 语言中编程错误的反馈。结果表明，提示建议分步骤程序会提高精度，而省略关于要分析的哪些提供数据的明确规范则改善了错误识别。
引用
@article{arxiv.2412.15702,
title = {Cracking the Code: Evaluating Zero-Shot Prompting Methods for Providing Programming Feedback},
author = {Niklas Ippisch and Anna-Carolina Haensch and Jan Simson and Jacob Beck and Markus Herklotz and Malte Schierholz},
journal= {arXiv preprint arXiv:2412.15702},
year = {2024}
}
备注
8 pages, 1 figure