通过仿真量化大语言模型推理的能源消耗与碳排放
分布式、并行与集群计算
2025-07-16 v1
摘要
大语言模型（LLM）的环境影响正在显著增加，其中推理阶段的碳排放已占据整个生命周期排放总量的超过一半。然而，现有的仿真框架——日益被用于确定高效的LLM部署方案——缺乏对能源消耗的概念，因而无法准确估算与推理相关的排放。我们提出了一种仿真框架，用于评估在不同部署配置下，LLM推理的能源与碳排放影响。首先，我们扩展了一个高保真的LLM推理仿真器，加入基于利用率指标的GPU功耗模型，从而支持跨配置（如批量大小、序列长度、模型并行）的能耗分析。其次，我们将仿真输出集成到能源系统协同仿真环境中，以特定电网条件下量化碳排放，并探讨碳感知调度的潜力。通过情景分析，我们的框架揭示了推理参数如何影响能源需求与碳足迹，展示了在一个示例部署案例中可实现最高达69.2%的可再生能源抵消潜力，并为未来碳感知推理基础设施设计奠定了基础。
引用
@article{arxiv.2507.11417,
title = {Quantifying the Energy Consumption and Carbon Emissions of LLM Inference via Simulations},
author = {Miray Özcan and Philipp Wiesner and Philipp Weiß and Odej Kao},
journal= {arXiv preprint arXiv:2507.11417},
year = {2025}
}
备注
Presented at the Workshop on Performance and Energy Efficiency in Concurrent and Distributed Systems (PECS) at Euro-PAR'25