ML.ENERGY基准：面向自动化推理能耗测量与优化
机器学习
2025-10-17 v2 人工智能
摘要
随着生成式AI在实际服务中的采用呈指数增长，能源已成为关键瓶颈资源。然而，能源作为构建ML系统时常被忽视、未被深入探索或 poorly understood的度量标准。在本文中，我们介绍了ML.ENERGY基准，这是一个用于测量现实服务环境下推理能耗消耗的基准套件和工具，以及相应的ML.ENERGY Leaderboard，这些资源已为希望理解和优化其生成式AI服务能耗的开发者提供了宝贵参考。本文阐述了我们逐步形成的四个关键基准设计原则，并说明了它们如何在ML.ENERGY基准中实现。随后，我们概述了2025年初期 iterations of the benchmark的结果，包括对40个广泛使用的模型架构在6种不同任务上的能耗测量、关于ML设计选择如何影响能耗的案例研究，以及自动化优化建议如何在不改变模型实际计算内容的前提下实现显著节省（最高可达40%）的能耗。ML.ENERGY基准是开源的，并且可以轻松扩展到各种自定义模型和应用场景。
引用
@article{arxiv.2505.06371,
title = {The ML.ENERGY Benchmark: Toward Automated Inference Energy Measurement and Optimization},
author = {Jae-Won Chung and Jeff J. Ma and Ruofan Wu and Jiachen Liu and Oh Jun Kweon and Yuxuan Xia and Zhiyu Wu and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2505.06371},
year = {2025}
}
备注
NeurIPS D&B 2025 (Spotlight) | Benchmark: https://github.com/ml-energy/benchmark | Leaderboard: https://ml.energy/leaderboard