GPU 集群中执行空闲状态的能源成本
分布式、并行与集群计算
2026-04-07 v1 性能
摘要
GPU 正成为数据中心电力消耗的主要贡献者，然而与 CPU 不同，它们即使在可见活动接近零时仍可能保持高功率。我们称这种状态为执行空闲（execution-idle）。通过来自大型学术 AI 集群的每秒遥测数据，我们对执行空闲进行特征化，发现其是实际部署中一种周期性的低活动但高功率状态。在多样化的工作负载和多个 GPU 代中，该状态占执行时间的 19.7% 和能源消耗的 10.7%。这表明需要既减少执行空闲的成本，又减少其暴露程度。因此，我们构建了两个原型：一个使用自动按比例缩减以降低执行空闲，另一个利用负载不平衡来减少暴露，两者都存在性能权衡。这些发现表明，未来的能源效率 GPU 系统应将执行空闲视为一级操作状态。
引用
@article{arxiv.2604.04745,
title = {The Energy Cost of Execution-Idle in GPU Clusters},
author = {Yiran Lei and Jared Fernandez and Vasilis Kypriotis and Dimitrios Skarlatos and Emma Strubell and Justine Sherry and Daniel Vosler},
journal= {arXiv preprint arXiv:2604.04745},
year = {2026}
}