论文评论对遗留代码 LLM 理解的影响
软件工程
2025-06-16 v1 人工智能
摘要
大型语言模型（LLM）越来越多地被集成到软件工程和维护任务中，由于其在软件工程任务和对现代编程语言的健壮理解方面表现优异。然而，LLM 理解使用遗留语言编写的代码的能力仍是研究空白，这受现实世界遗留系统缺乏或包含不准确文档的限制，可能影响 LLM 的理解。为了评估 LLM 对遗留语言的理解，亟需一种客观的 LLM 评估方法。为客观衡量 LLM 对遗留语言的理解，我们需要一种高效、量化的评估方法。我们利用多选问答（MCQA），这是一种新兴的 LLM 评估方法，对 LLM 对遗留代码的理解以及注释出现频率和不准确注释的影响进行评估。本文提出了关于文档对 LLM 理解遗留代码影响的初步发现，并概述了未来工作的战略目标。
引用
@article{arxiv.2506.11007,
title = {Impact of Comments on LLM Comprehension of Legacy Code},
author = {Rock Sabetto and Emily Escamilla and Devesh Agarwal and Sujay Kandwal and Justin F. Brunelle and Scott Rosen and Nitin Naik and Samruddhi Thaker and Eric O. Scott and Jacob Zimmer and Amit Madan and Arun Sridharan and Doug Wendt and Michael Doyle and Christopher Glasz and Jasper Phillips and William Macke and Colin Diggs and Michael Bartholf and Zachary Robin and Paul Ursino},
journal= {arXiv preprint arXiv:2506.11007},
year = {2025}
}