中文

CO2-Meter:面向边缘设备的 LLM 全方位碳足迹估计器

硬件体系结构 2025-11-12 v1

摘要

LLM已彻底改变NLP,但在边缘设备上部署则面临巨大的碳挑战。先前的估计器不完整,忽略了外围能源使用、明显的prefill/decode行为以及SoC设计的复杂性。本文提出了CO2-Meter,一个用于估计 LLM 边缘推理中运营碳排放和嵌入式碳排放的统一框架。我们的贡献包括:(1)基于方程的外围能源模型和数据集;(2)基于图神经网络的预测器,集成了阶段特定的 LLM 能源数据;(3)面向 SoC 瓶颈分析的单元级嵌入式碳模型;(4)验证表明其优于先前方法。案例研究表明CO2-Meter在识别碳热点和指导面向边缘平台的可持续 LLM 设计方面具有有效性。源码:https://github.com/fuzhenxiao/CO2-Meter

关键词

引用

@article{arxiv.2511.08575,
  title  = {CO2-Meter: A Comprehensive Carbon Footprint Estimator for LLMs on Edge Devices},
  author = {Zhenxiao Fu and Chen Fan and Lei Jiang},
  journal= {arXiv preprint arXiv:2511.08575},
  year   = {2025}
}