面向可持续大型语言模型服务的探索
机器学习
2025-01-07 v1 分布式、并行与集群计算
摘要
本文从碳排放角度研究大型语言模型（LLM），涵盖运营碳排放和生产碳排放，为可持续的LLM服务提供路径。我们使用两种NVIDIA GPU类型（最新代RTX6000 Ada和旧代T4）对参数为1B、3B和7B的LLaMA模型进行性能和能耗表征。我们基于能源消耗和来自三大电网区域（分别代表不同的能源来源组合）的碳密度，分析性地建模运营碳排放；基于芯片面积和内存大小建模生产碳排放。我们的表征和建模为我们提供了对LLM服务在性能、能耗和碳排放方面的深入理解。我们的发现强调，通过同时考虑运营碳排放和生产碳排放，有望优化可持续的LLM服务系统。
引用
@article{arxiv.2501.01990,
title = {Towards Sustainable Large Language Model Serving},
author = {Sophia Nguyen and Beihao Zhou and Yi Ding and Sihang Liu},
journal= {arXiv preprint arXiv:2501.01990},
year = {2025}
}