GIRT-Model：问题报告模板的自动生成
软件工程
2024-02-09 v2 计算与语言
摘要
GitHub 和 GitLab 等平台引入了问题报告模板（IRTs），以实现更有效的问题管理并更好地符合开发者的期望。然而，这些模板在大多数仓库中并未被广泛采用，目前也没有工具可以帮助开发者生成它们。在这项工作中，我们介绍了 GIRT-Model，这是一种助手语言模型，可根据开发者关于结构和必要字段的指令自动生成 IRTs。我们创建了 GIRT-Instruct，这是一个包含指令和 IRTs 对的数据集，其中 IRTs 来源于 GitHub 仓库。我们使用 GIRT-Instruct 对 T5-base 模型进行指令微调，从而创建了 GIRT-Model。在我们的实验中，GIRT-Model 在 IRT 生成方面优于通用语言模型（不同参数规模的 T5 和 Flan-T5），在 ROUGE、BLEU、METEOR 和人工评估中取得了显著更高的分数。此外，我们在一项用户研究中分析了 GIRT-Model 的有效性，参与者使用 GIRT-Model 编写了简短的 IRTs。我们的结果表明，参与者发现 GIRT-Model 在模板自动生成方面很有用。我们希望通过使用 GIRT-Model，能鼓励更多开发者在其仓库中采用 IRTs。我们公开了代码、数据集和模型，地址为 https://github.com/ISE-Research/girt-model。
引用
@article{arxiv.2402.02632,
title = {GIRT-Model: Automated Generation of Issue Report Templates},
author = {Nafiseh Nikeghbal and Amir Hossein Kargaran and Abbas Heydarnoori},
journal= {arXiv preprint arXiv:2402.02632},
year = {2024}
}
备注
Accepted to be published at the 21st IEEE/ACM International Conference on Mining Software Repositories (MSR 2024)