E-code：通过预训练模型和专家编码器组合掌握高效代码生成
软件工程
2024-08-26 v1
摘要
背景：随着摩尔定律的衰退，软件行业越来越关注寻找替代方案以实现持续性能提升。软件性能优化的意义和研究成果正因大语言模型(LLM)的发展而不断上升。然而，传统的性能缺陷修复策略在竞争代码效率优化层面显露出显著局限，相关研究也十分稀缺。目标：本研究旨在弥补该领域的研究空白，提供解决各种挑战的实用方案。具体而言，我们克服了传统性能缺陷修复策略的限制，开发了专为竞争代码效率优化领域量身定制的语言模型。方法：我们引入了E-code，一种先进的程序综合语言模型。灵感来自专家语言模型的最新成功，我们设计了一种创新的结构——专家编码器组合。该结构运用多个专家编码器从不同输入类型中提取特征。我们在竞争数据集上评估了E-code的性能，并进行了深入的消融实验。结果：在系统评估后，E-code实现了54.98%的代码效率提升，显著优于其他先进模型。在消融实验中，我们进一步验证了专家编码器组合以及E-code中的其他组件的重要性。结论：研究结果表明，专家编码器组合能够有效处理效率优化任务中的各种输入，显著提升模型性能。
引用
@article{arxiv.2408.12948,
title = {E-code: Mastering Efficient Code Generation through Pretrained Models and Expert Encoder Group},
author = {Yue Pan and Chen Lyu and Zhenyu Yang and Lantian Li and Qi Liu and Xiuting Shao},
journal= {arXiv preprint arXiv:2408.12948},
year = {2024}
}