推进大语言模型推理的精确碳足迹预测

Zhenxiao Fu; Fan Chen; Shan Zhou; Haitong Li; Lei Jiang

推进大语言模型推理的精确碳足迹预测

机器学习 2024-10-07 v1 人工智能计算与语言计算机与社会

作者: Zhenxiao Fu , Fan Chen , Shan Zhou , Haitong Li , Lei Jiang

摘要

在整个生命周期中，大语言模型（LLM）在推理阶段产生的碳足迹远大于训练阶段。LLM推理请求在批处理大小、提示长度和令牌生成数量上各不相同，而云提供商采用不同的GPU类型和数量来满足不同的服务水平目标（如准确性和延迟）。因此，对于用户和云提供商而言，在推理执行之前，基于推理请求和硬件配置的组合，快速准确地估算LLM推理的碳影响至关重要。由于模型FLOPS利用率较低且高度可变，估算LLM推理的碳足迹比训练更为复杂，这使得以往基于方程的模型不再准确。此外，现有的机器学习（ML）预测方法要么缺乏准确性，要么需要大量的训练数据，因为它们未能妥善处理不同的预填充（prefill）和解码（decode）阶段，忽略了硬件特定特征，并且对不常见的推理配置采样效率低下。我们引入了\coo，一个基于图神经网络（GNN）的模型，与以往方法相比，显著提高了LLM推理碳足迹预测的准确性。

关键词

carbon footprint prediction large language models inference graph neural networks machine learning

引用

@article{arxiv.2410.02950,
  title  = {LLMCO2: Advancing Accurate Carbon Footprint Prediction for LLM Inferences},
  author = {Zhenxiao Fu and Fan Chen and Shan Zhou and Haitong Li and Lei Jiang},
  journal= {arXiv preprint arXiv:2410.02950},
  year   = {2024}
}

备注

9 pages, 11 figures

推进大语言模型推理的精确碳足迹预测

摘要

关键词

引用

备注

相关论文