推理能源成本分析：基于测试时计算的大语言模型能耗研究
机器学习
2025-11-11 v2 人工智能
摘要
规模化的大语言模型（LLM）推动了重大进展，但面临报酬递减和日益增加的能源需求。本工作探索测试时计算（TTC）能否作为传统规模化策略的能源高效补充，通过在推理阶段而非训练阶段分配额外计算资源。具体而言，我们调查是否存在通过增加模型规模在准确率与能源效率之间取得的提升，与仅依赖TTC相比。我们的实证分析表明，TTC在准确率/能源效率方面超越了传统模型规模化，尤其在需要复杂推理的任务上相较于单纯记忆事实知识的任务取得显著提升。进一步地，我们识别出TTC性能与输出序列长度之间存在关键相互作用，表明根据查询复杂度策略性调整推理阶段的计算资源可显著提升效率。我们的发现倡导TTC作为未来语言模型更可持续、更准确且更具适应性部署的有前景的方向。
引用
@article{arxiv.2505.14733,
title = {The Energy Cost of Reasoning: Analyzing Energy Usage in LLMs with Test-time Compute},
author = {Yunho Jin and Gu-Yeon Wei and David Brooks},
journal= {arXiv preprint arXiv:2505.14733},
year = {2025}
}