打破ICE：探索LLM推理碳与能耗估计基准的前景与挑战

虽然生成式 AI 是有史以来被最快采用的技术之一，但研究已表明，大语言模型（LLM）的使用对能源电网和环境造成了重大负担。这可能成为任何组织可持续发展目标的阻碍。任何可持续发展战略的关键一步是监测或估计各组成部分的能耗。虽然存在多种用于监测能耗的工具，但用于估计能耗或碳排放的工具/框架却严重匮乏。当前监测和估计工具的缺点包括输入数据点过多、侵入性强、误差范围大等。我们认为，利用新兴的 LLM 基准和相关数据点可以在平衡排放估计精度的同时克服上述挑战。为此，我们讨论了当前方法的挑战，并提出了我们正在发展的框架 R-ICE，该框架利用现有的最先进（SOTA）基准来估计提示级别的推理碳排放。这一方向为动态 LLM 路由、碳核算等新兴用例提供了一种更实用、非侵入性的方式。我们的有前景的验证结果表明，基于基准的建模在推理排放估计方面具有巨大潜力，值得科学界进一步探索。