评估提交信息生成：用 BLEU 还是不用 BLEU？
软件工程
2022-04-21 v1
摘要
提交信息在程序理解及把握程序演化等若干软件工程任务中起着重要作用。然而，程序员往往忽视撰写良好的提交信息。因此，已有若干提交信息生成（CMG）工具被提出。我们观察到近期最先进的 CMG 工具使用诸如 BLEU4 或其变体这类简单且易于计算的自动评估指标。机器翻译（MT）领域的进展揭示了 BLEU4 及其变体的若干缺陷，并提出了若干其他用于评估自然语言生成（NLG）工具的指标。在本工作中，我们讨论了各类 MT 指标对 CMG 任务的适用性。基于实验所得见解，我们专门提出一种用于评估 CMG 任务的新变体指标。我们在新指标下重新评估了最先进的 CMG 工具。我们相信，我们的工作弥补了 CMG 研究中关于评估指标理解的一个重要空白。
引用
@article{arxiv.2204.09533,
title = {Evaluating Commit Message Generation: To BLEU Or Not To BLEU?},
author = {Samanta Dey and Venkatesh Vinayakarao and Monika Gupta and Sampath Dechu},
journal= {arXiv preprint arXiv:2204.09533},
year = {2022}
}
备注
6 pages, 3 tables, ICSE-NIER 2022 Conference