使用GPT-5进行代码变更影响分析的数据集与初步研究
软件工程
2025-12-23 v1 人工智能
摘要
理解源代码变更及其对其他代码实体的影响是软件开发中的一项关键技能。然而，代码变更及其影响的分析通常是手动进行的，因此耗时。人工智能，特别是大型语言模型(LLM)的最新进展，显示出在帮助开发人员完成各种代码分析任务方面的潜力。然而，这种潜力在理解代码变更及其影响方面能发挥多大作用尚待探索。为填补这一空白，我们研究了GPT-5和GPT-5-mini预测给定源代码变更所影响的代码实体的能力。我们构建了一个数据集，其中包含每个提交的种子变更、变更对和变更类型的信息。现有数据集缺乏关于种子变更和受影响代码实体的关键信息。我们的实验在两种配置下评估了LLM：(1) 种子变更信息和父提交树；(2) 种子变更信息、父提交树以及每个种子变更的差异块。我们发现，两个LLM在这两项实验中表现均不佳，而GPT-5优于GPT-5-mini。此外，提供差异块有助于两个模型略微提高其性能。
引用
@article{arxiv.2512.19481,
title = {A Dataset and Preliminary Study of Using GPT-5 for Code-change Impact Analysis},
author = {Katharina Stengg and Christian Macho and Martin Pinzger},
journal= {arXiv preprint arXiv:2512.19481},
year = {2025}
}
备注
6 pages