ConDefects：用于解决基于LLM的故障定位与程序修复中数据泄漏问题的新数据集
软件工程
2023-10-26 v1 人工智能
摘要
随着对用于故障定位与程序修复的大型语言模型（LLMs）的关注日益增长，确保基于LLM方法的完整性与泛化能力变得至关重要。现有广泛采用的此类任务基准中的代码写于LLM兴起之前，可能被现有流行LLM的训练数据包含，从而遭受数据泄漏威胁，导致看似乐观却具误导性的性能指标。为应对此问题，我们引入“ConDefects”，一个精心筛选以消除此类重叠的真实故障新数据集。ConDefects包含1254个Java错误程序与1625个Python错误程序。所有这些程序均来源于在线竞赛平台AtCoder，且产生于2021年10月至2023年9月间。我们将每个故障与故障位置及相应修复代码版本配对，使其专为故障定位与程序修复相关研究定制。我们还提供基于不同时间窗口与编程任务难度筛选子集的接口。虽受基于LLM任务启发，ConDefects可用于基准测试所有类型的故障定位与程序修复方法。该数据集已公开，演示视频见 https://www.youtube.com/watch?v=22j15Hj5ONk。
引用
@article{arxiv.2310.16253,
title = {ConDefects: A New Dataset to Address the Data Leakage Concern for LLM-based Fault Localization and Program Repair},
author = {Yonghao Wu and Zheng Li and Jie M. Zhang and Yong Liu},
journal= {arXiv preprint arXiv:2310.16253},
year = {2023}
}
备注
5pages, 3 figures