LLM 辅助经验软件工程：系统文献综述与研究议程
软件工程
2026-04-30 v1
摘要
背景：经验软件工程 (ESE) 面临数据规模、方法论复杂性和可重复性问题日益增加的挑战。大型语言模型 (LLM) 作为支持经验工作流程的有前景工具，然而其使用仍然分散，且缺乏综合性分析以指导负责任的采用。目标：本研究分析了 LLM 在 ESE 中的使用方式，检视支持的任务、经验生命周期的各个阶段、对工作流程的集成、报告的优势与局限性，以及可重复性相关报告的程度。还识别了空白和未来研究方向。方法：我们对 2020-2025 年在 12 个领先软件工程期刊上发表的同行评议论文进行系统文献综述，得到 50 项原始研究，通过定性和定量综合进行分析。结果：我们识别出 69 项 LLM 辅助任务，主要集中在软件存储库挖掘和受控实验中，关注分类、过滤和评估。LLM 被用于多个阶段，但集中在数据处理和分析。其集成主要是自动化导向的，决策支持用途有限。优势强调效率和可扩展性，而局限性包括幻觉、不一致、提示敏感性和可重复性问题。报告实践常常不完整。结论：LLM 在 ESE 中的使用正在增长，但仍以自动化为主，人类中心集成和透明度方面仍存在空白。我们概述了其影响和负责任使用研究议程。
引用
@article{arxiv.2604.26192,
title = {LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda},
author = {Victoria Gomes and Delaney Selb and Fabio Palomba and Rodrigo Spinola and David Lo},
journal= {arXiv preprint arXiv:2604.26192},
year = {2026}
}