AI Greenferencing：利用 Heron 将 AI 推理路由至绿色模块化数据中心
分布式、并行与集群计算
2025-05-16 v1 人工智能
网络与互联网体系结构
摘要
由于 AI 算力的高功率密度和新兴的推理工作负载，AI 电力需求正以前所未有的速度增长。在供给侧，大量风电正等待通过互联队列接入电网。基于此，本文主张将 AI 工作负载部署至与风电场共址的模块化计算集群。我们的部署适配策略使得如今部署超过 600 万颗高端 GPU 变得经济可行，这些 GPU 可以在源头消耗廉价、绿色的电力。我们构建了 Heron，一个跨站点的软件路由器，可以通过将 AI 推理工作负载绕过电力下降来高效利用风电场之间发电的互补性。利用来自 Azure 的 1 周编码和对话生产轨迹以及（真实的）可变风电功率轨迹，我们展示了 Heron 相比最先进方法将 AI 计算的聚合有效吞吐量提升了高达 80%。
引用
@article{arxiv.2505.09989,
title = {AI Greenferencing: Routing AI Inferencing to Green Modular Data Centers with Heron},
author = {Tella Rajashekhar Reddy and Palak and Rohan Gandhi and Anjaly Parayil and Chaojie Zhang and Mike Shepperd and Liangcheng Yu and Jayashree Mohan and Srinivasan Iyengar and Shivkumar Kalyanaraman and Debopam Bhattacherjee},
journal= {arXiv preprint arXiv:2505.09989},
year = {2025}
}