资源高效且有效的代码摘要生成
软件工程
2025-02-07 v1
摘要
代码语言模型（CLMs）在自动化软件工程任务（如缺陷修复、代码生成和代码文档编写）中已展现出高效能。这一进展由大规模模型的扩展所驱动，其参数规模从数百万到数万亿不等（例如 GPT-4）。然而，随着模型规模的扩大，可持续性问题也随之出现，因为它们极其耗费资源，这凸显了对高效、环保解决方案的需求。诸如 QLoRA（量化低秩适配）等绿色人工智能技术为应对大模型的可持续性问题提供了一条有前景的路径，因为它们能实现资源高效的模型微调。先前的研究已表明 QLoRA 在代码相关任务中的有效性，特别是那些涉及自然语言输入和以代码为目标输出的任务（NL-to-Code），例如代码生成。然而，尚无研究探索其在本质上与 NL-to-Code（自然语言到代码）相似但方向相反的任务（如代码摘要生成）中的应用。这导致了对 QLoRA 在 Code-to-NL 任务中泛化能力的理解存在空白，而这些任务对于支持开发者理解和维护代码同样重要。为填补这一空白，我们研究了 QLoRA 在 NL-to-Code 任务中的能力能在多大程度上被利用并迁移到代码摘要生成这一代表性的 Code-to-NL 任务中。我们的研究评估了两种最先进的代码语言模型（CodeLlama 和 DeepSeek-Coder）在两种编程语言（Python 和 Java）上的表现。我们的研究要求模型为 Python 和 Java 代码方法生成描述。结果与先前关于 QLoRA 用于源代码生成的发现一致，表明 QLoRA 能够实现代码语言模型在代码摘要生成任务上的高效微调。
引用
@article{arxiv.2502.03617,
title = {Resource-Efficient & Effective Code Summarization},
author = {Saima Afrin and Joseph Call and Khai-Nguyen Nguyen and Oscar Chaparro and Antonio Mastropaolo},
journal= {arXiv preprint arXiv:2502.03617},
year = {2025}
}