基于 ACEOB 衡量代码效率优化能力
软件工程
2024-08-26 v1
摘要
随着摩尔定律的放缓，软件性能与效率日益重要。代码效率优化困难重重，即便是经验丰富的程序员也难以胜任。然而，相关研究相对稀缺，且对模型代码效率优化能力的严格评估面临诸多难题。为此，我们首先深入分析模型训练数据集中的“代码模式”，仔细探索人类编写的代码。其次，我们定义了代码效率优化任务，提出自动代码效率优化基准（ACEOB），该基准包含 95,359 对高效-低效代码，用于衡量代码效率优化能力。据我们所知，ACEOB 是首个专门针对 Python 代码效率优化的数据集。为评估模型在代码效率优化方面的能力，我们提出两种新指标：等价最优比较 CodeBLEU（IOCCB）指标和归一化性能指数（NPI）指标，用于评估模型生成代码的效率。我们还在 ACEOB 上微调了若干先进代码模型（如 PolyCoder、CodeT5），并表明引入 NPI 滤镜后，各模型的效率均有所提升。然而，值得注意的是，即便是 ChatGPT 在代码效率优化任务中也未达到最佳表现。
引用
@article{arxiv.2408.12960,
title = {Measuring Code Efficiency Optimization Capabilities with ACEOB},
author = {Yue Pan and Xiuting Shao and Chen Lyu},
journal= {arXiv preprint arXiv:2408.12960},
year = {2024}
}