CUPID：利用ChatGPT实现更精准的重复缺陷报告检测
软件工程
2024-07-17 v3
摘要
重复缺陷报告检测（DBRD）是学术界与工业界长期面临的挑战。过去几十年中，研究者提出了多种方法来更精准地检测重复缺陷报告。随着深度学习的近期进展，研究者也提出了若干基于深度学习的方法以应对DBRD任务。在包含大量缺陷报告的缺陷库中，基于深度学习的方法展现出良好性能。然而，在缺陷报告数量较少（约1万条）的缺陷库中，现有深度学习方法的表现劣于传统方法。传统方法亦有局限，例如通常基于词袋模型，无法捕捉缺陷报告的语义。为应对上述挑战，我们试图借助最先进的大语言模型（LLM）来提升传统DBRD方法的性能。本文提出一种称为CUPID的方法，将表现最佳的传统DBRD方法（即REP）与最先进的LLM（即ChatGPT）相结合。我们在三个数据集上将CUPID与三种现有方法进行比较评估。实验结果表明，CUPID取得了最先进的结果，在所有分析的数据集上Recall Rate@10得分介于0.602至0.654之间。具体而言，CUPID在数据集上的Recall Rate@10较先前最先进方法提升5%–8%。CUPID还超越了最先进的基于深度学习的DBRD方法，最高达82%。
引用
@article{arxiv.2308.10022,
title = {CUPID: Leveraging ChatGPT for More Accurate Duplicate Bug Report Detection},
author = {Ting Zhang and Ivana Clairine Irsan and Ferdian Thung and David Lo},
journal= {arXiv preprint arXiv:2308.10022},
year = {2024}
}