面向能源意识的大语言模型解码：文本生成策略对 GPU 能源消耗的影响
人工智能
2025-10-07 v2
摘要
解码策略在大型语言模型（LLM）中对生成文本的质量和多样性具有显著影响，但其对计算资源，特别是 GPU 能源消耗的影响尚未得到充分研究。本文探讨了文本生成解码技术与能源效率之间的关系，聚焦于生成质量与 GPU 能源使用之间的权衡，涵盖多种任务和解码配置。通过对包括翻译、数学问题解决、编码和开放式文本生成等多种任务进行基准测试，我们揭示了在不同解码技术及其调优超参数选择下，对文本质量和能源消耗的影响。我们的发现表明，解码策略的选择对 GPU 能源消耗影响巨大，即使对输出质量影响有限。不同的策略也在质量与能源效率之间存在权衡，没有一种解码方法在所有指标上都表现最佳。就已知的研究而言，本文是首次从能源消耗角度考察大语言模型解码策略的研究之一，为在不牺牲文本生成质量的前提下构建能源高效应用提供了有用的见解。
引用
@article{arxiv.2502.11723,
title = {Energy-Conscious LLM Decoding: Impact of Text Generation Strategies on GPU Energy Consumption},
author = {Alireza Nik and Michael A. Riegler and Pål Halvorsen},
journal= {arXiv preprint arXiv:2502.11723},
year = {2025}
}
备注
Updated version with additional models and benchmark datasets. The experimental section has been expanded with new analyses, and minor corrections and clarifications have been made throughout the text