探索大语言模型在软件工程中生成证据简报的应用
软件工程
2025-07-22 v1
摘要
[背景] 证据简报是一种简洁客观的传递媒介，可向软件工程界的从业者呈现研究的主要发现。尽管实践者和研究者认为证据简报有用，但其生产需要手动劳动，这可能是其广泛采纳的重大挑战。[目标] 本注册报告的目标是描述用于评估LLM生成的证据简报在内容忠实度、易于理解以及对研究者和从业者而言的有用性方面，相对于人工制作的简报的实验协议。[方法] 我们开发了一个基于检索增强生成（RAG）的LLM工具，用于生成证据简报。我们使用该工具自动生成两个之前由人工制作的证据简报。我们设计了一个受控实验，以评估LLM生成的简报与人工制作的简报在感知的内容忠实度、易于理解和有用性方面的比较。[结果] 将在实验试验后报告。[结论] 取决于实验结果。
引用
@article{arxiv.2507.15828,
title = {Investigating the Use of LLMs for Evidence Briefings Generation in Software Engineering},
author = {Mauro Marcelino and Marcos Alves and Bianca Trinkenreich and Bruno Cartaxo and Sérgio Soares and Simone D. J. Barbosa and Marcos Kalinowski},
journal= {arXiv preprint arXiv:2507.15828},
year = {2025}
}
备注
ESEM 2025 Registered Report with an IPA (In Principle Acceptance) for the Empirical Software Engineering journal