EffiCoder：通过效率感知微调提升大型语言模型的代码生成能力
计算机视觉与模式识别
2024-10-15 v1
摘要
随着大型语言模型（LLM）在代码生成中发挥越来越重要的作用，提升其正确性和效率都变得至关重要。当前方法主要关注正确性，往往忽视效率。为此，我们引入EffiCoder，通过在由正确且高效代码样本组成的高质量数据集上进行微调来提升两方面的性能。我们的 methodology 采用多个 LLM 为各种编程语言的不同任务生成多样化的候选代码解决方案，然后通过本地执行测量其执行时间和内存使用情况。选取执行时间和内存消耗最低的解决方案作为每个任务的最终输出。实验结果表明，在使用 Effi-Instruct 进行微调后，Qwen2.5-Coder-7B-Instruct 的 pass@1 分数从 44.8% 提升至 57.7%，而正确任务的平均执行时间降低 48.4%。EffiCoder 提供了一种可扩展且高效的解决方案，推动了 AI 驱动的代码生成，惠及软件开发和计算问题解决。EffiCoder 的源代码已发布于 https://github.com/huangd1999/EffiCoder。
引用
@article{arxiv.2410.10207,
title = {MagicEraser: Erasing Any Objects via Semantics-Aware Control},
author = {Fan Li and Zixiao Zhang and Yi Huang and Jianzhuang Liu and Renjing Pei and Bin Shao and Songcen Xu},
journal= {arXiv preprint arXiv:2410.10207},
year = {2024}
}
备注
Accepted by ECCV 2024