揭示大型语言模型服务的环境影响：功能单元视角
机器学习
2025-05-30 v2 硬件体系结构
计算与语言
摘要
大型语言模型（LLM）提供了强大的能力，但带来了显著的环境影响，特别是碳排放。现有研究对碳排放进行基准测试，但缺乏跨不同模型配置的标准化比较基础。为了解决这个问题，我们引入了功能单元（FU）的概念作为标准化基础，并开发了FUEL，这是第一个基于FU的评估LLM服务环境影响的框架。通过三个案例研究，我们揭示了通过优化模型大小、量化策略和硬件选择来减少碳排放的关键见解和权衡，为更可持续的LLM服务铺平了道路。代码可在 https://github.com/jojacola/FUEL 获取。
引用
@article{arxiv.2502.11256,
title = {Unveiling Environmental Impacts of Large Language Model Serving: A Functional Unit View},
author = {Yanran Wu and Inez Hua and Yi Ding},
journal= {arXiv preprint arXiv:2502.11256},
year = {2025}
}
备注
17 pages, 38 figures, Proceedings of the The 63rd Annual Meeting of the Association for Computational Linguistics, Vienna, Austria, July 27-August 1st, 2025