地理分布式数据中心的可持续 AIGC 工作负载调度:一种多智能体强化学习方法
人工智能
2023-04-18 v1 分布式、并行与集群计算
机器学习
摘要
生成式人工智能近期的突破引发了对机器学习训练需求的激增,因其巨大的能耗而带来了显著的成本负担与环境挑战。在地理分布的云数据中心之间调度训练任务,揭示了优化由廉价低碳能源驱动的计算能力使用并解决工作负载失衡问题的机会。为应对多目标调度(即在降低运营成本的同时最大化 GPU 利用率)的挑战,我们提出一种基于多智能体强化学习与 actor-critic 方法的算法,通过与基于真实工作负载模式、能源价格与碳强度构建的云系统交互来学习最优协同调度策略。与其他算法相比,我们所提方法因更高的 GPU 利用率、更低的能源成本与更少的碳排放,将系统效用提升了高达 28.6%。
引用
@article{arxiv.2304.07948,
title = {Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach},
author = {Siyue Zhang and Minrui Xu and Wei Yang Bryan Lim and Dusit Niyato},
journal= {arXiv preprint arXiv:2304.07948},
year = {2023}
}