Green My LLM：研究影响代码助手能耗的关键因素
软件工程
2024-11-20 v1 人工智能
摘要
近年来，大型语言模型（LLM）在生成高质量代码方面取得了显著进步，使其能够作为代码助手集成到开发者的集成开发环境（IDE）中。这些助手（如 GitHub Copilot）提供实时代码建议，能够极大提升开发者的生产力。然而，这些工具对环境的影响，特别是其能耗，仍然是一个关键问题。本文通过模拟开发者与 GitHub Copilot 的交互并分析各种配置因素，研究了基于 LLM 的代码助手的能耗。我们收集了 20 名开发者的开发轨迹数据集，并进行了广泛的软件项目开发模拟，以测量不同场景下的能源使用情况。研究结果表明，代码助手的能耗和性能受多种因素影响，例如并发开发者数量、模型大小、量化方法以及流式传输的使用。值得注意的是，GitHub Copilot 发出的生成请求中有很大一部分被开发者取消或拒绝，这表明在减少浪费的计算方面存在潜在空间。基于这些发现，我们分享了针对不同用例优化配置的可操作见解，并证明了仔细的调整可以带来显著的能源节约。
引用
@article{arxiv.2411.11892,
title = {Green My LLM: Studying the key factors affecting the energy consumption of code assistants},
author = {Tristan Coignion and Clément Quinton and Romain Rouvoy},
journal= {arXiv preprint arXiv:2411.11892},
year = {2024}
}
备注
Submitted to JSS