ReFEree：用于评估真实世界代码摘要事实一致性的无参考细粒度方法
计算与语言
2026-04-14 v1 人工智能
编程语言
摘要
随着大型语言模型能够生成长篇且描述性的代码摘要，对事实一致性进行准确可靠的评估已成为一个关键挑战。然而，先前的评估方法主要针对孤立代码片段的简短摘要而设计。因此，它们难以对多句功能进行细粒度评估，并且无法准确评估真实世界代码摘要中常见的依赖上下文。为了解决这个问题，我们提出了ReFEree，一种用于评估真实世界代码摘要事实一致性的无参考细粒度方法。我们定义了特定于代码摘要的事实不一致性标准，并使用这些标准以及依赖信息在片段级别对其进行评估。然后将这些片段级别的结果聚合为一个细粒度分数。我们构建了一个带有手动标注事实一致性标签的代码摘要基准。评估结果表明，在13个基线方法中，ReFEree与人类判断的相关性最高，比先前的最先进方法提高了15-18%。我们的代码和数据可在https://github.com/bsy99615/ReFEree.git获取。
引用
@article{arxiv.2604.10520,
title = {ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization},
author = {Suyoung Bae and CheolWon Na and Jaehoon Lee and Yumin Lee and YunSeok Choi and Jee-Hyong Lee},
journal= {arXiv preprint arXiv:2604.10520},
year = {2026}
}
备注
Accepted to ACL 2026 main. 25 pages