这太慢了——将时间作为 LLM 能耗的代理指标进行调查
性能
2026-03-18 v1 人工智能
软件工程
摘要
大型语言模型(LLM)的能耗正引起日益担忧，由于其对环境稳定性和资源使用的不利影响。然而，这些能耗成本对用户而言仍然鲜为人知，尤其是在通过API访问模型时——这是一种黑盒系统，所有信息取决于提供者选择披露的内容。本文我们调查将推理时间测量作为近似估计API式LLM相关能耗的代理方法。我们通过将我们的估计与本地托管等效模型的实际能耗测量进行比较来支撑我们的 метод。我们的结果表明，时间测量允许我们推断API式LLM的GPU模型，从而为我们的能耗成本估计提供依据。我们的工作旨在为理解API式LLM的能耗成本提供手段，特别是为最终用户。
引用
@article{arxiv.2603.15699,
title = {This Is Taking Too Long -- Investigating Time as a Proxy for Energy Consumption of LLMs},
author = {Lars Krupp and Daniel Geißler and Francisco M. Calatrava-Nicolas and Vishal Banwari and Paul Lukowicz and Jakob Karolus},
journal= {arXiv preprint arXiv:2603.15699},
year = {2026}
}
备注
This work was accepted at PerCom 2026