等一下！我的反馈有用吗？评估代码审查评论的有用性
软件工程
2025-02-28 v1
摘要
背景：在协作式软件开发中，同行代码审查过程仅在审查者提供有用评论时才证明是有益的。目标：本文通过基于文本特征和无特征的方法，研究代码审查评论（CR评论）的有用性。方法：我们从开源和商业项目中选择三个可用数据集。此外，我们从软件和非软件领域引入新特征。而且，我们实验了CR评论中行话、语态和代码的存在，并通过特征化、词袋模型和迁移学习技术对CR评论的有用性进行分类。结果：我们的模型超越了基线，取得了最先进的性能。此外，结果表明，商业大型LLM、GPT-4o，或非商业的朴素无特征方法（带TF-IDF的词袋模型），在预测CR评论的有用性方面更为有效。结论：仅从CR评论预测有用性的显著改进，促进了对该任务的研究。我们的分析描绘了在预测CR评论有用性方面领域、项目、数据集、模型和特征的相似性与差异。
引用
@article{arxiv.2501.06738,
title = {Hold On! Is My Feedback Useful? Evaluating the Usefulness of Code Review Comments},
author = {Sharif Ahmed and Nasir U. Eisty},
journal= {arXiv preprint arXiv:2501.06738},
year = {2025}
}
备注
Accepted for publication in Empirical Software Engineering (EMSE) Journal