中文

COMCAT:利用人类判断提升自动文档与摘要生成

软件工程 2024-07-19 v1

摘要

软件维护构成软件总生命周期成本的大部分,代码理解的费用占其中显著比例。通过诸如注释等文档来总结和解释代码,可缓解代码理解难度。我们提出COMCAT方法,通过为大语言模型(Large Language Models, LLMs)增添专业知识引导的上下文来自动化注释生成,旨在为源代码注释以提高理解度。我们的做法使我们能够为给定代码片段或文件选择最相关且最具信息量的注释。在人类主观评估中,我们展示了COMCAT生成的注释在三个典型软件工程任务中显著提升了开发人员的代码理解能力,达到最高可达12%。此外,我们证明COMCAT生成的注释至少与人类生成的注释一样准确且可读,且对标准ChatGPT生成的注释更受偏好,最高可达92%。我们还开发并发布了一个包含源代码片段、人类编写注释及人类标注注释类型的注释数据集。COMCAT利用LLMs在各种人类软件工程任务中为代码理解提供显著提升。

关键词

引用

@article{arxiv.2407.13648,
  title  = {COMCAT: Leveraging Human Judgment to Improve Automatic Documentation and Summarization},
  author = {Skyler Grandel and Scott Thomas Andersen and Yu Huang and Kevin Leach},
  journal= {arXiv preprint arXiv:2407.13648},
  year   = {2024}
}

备注

12 pages, 6 figures