绿色大语言模型技术实测：行业应用中现有技术的能源效率效果如何？
软件工程
2026-01-07 v1
摘要
大语言模型（LLM）的快速普及引发了对其巨大能源消耗的关注，尤其是在行业规模部署时。虽然已提出多种技术以解决此问题，但现有技术在实际 LLM 行业应用中效果如何缺乏实证数据。为填补这一空白，我们分析了位于荷兰 IT 服务公司 Schuberg Philis 的一个聊天机器人应用。随后我们选取了四项技术，即 Small and Large Model Collaboration、Prompt Optimization、Quantization 和 Batching，对该应用进行八种变体的实验，并研究其对能源消耗、准确率和响应时间的影响。我们的结果表明，诸如 Prompt Optimization 和 2 位量化等技术能够显著降低能源使用，最多可降低 90%。然而，这些技术尤其对准确率产生负面影响，实践中程度不可接受。唯一在不显著损害其他特性的前提下实现显著能源削减的技术是通过 Nvidia 的 Prompt Task and Complexity Classifier（NPCC）实现的 Small and Large Model Collaboration，其采用提示复杂度阈值。本研究表明，降低 LLM 应用的能源消耗并不困难，但要在不损害其他特性的前提下提高能源效率，仍具有挑战性。我们的研究为实现这一目标提供了实用见解。
引用
@article{arxiv.2601.02512,
title = {Green LLM Techniques in Action: How Effective Are Existing Techniques for Improving the Energy Efficiency of LLM-Based Applications in Industry?},
author = {Pelin Rabia Kuran and Rumbidzai Chitakunye and Vincenzo Stoico and Ilja Heitlager and Justus Bogner},
journal= {arXiv preprint arXiv:2601.02512},
year = {2026}
}
备注
Accepted for publication at the 2026 International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP'26)