基于离线强化学习的数据中心冷却系统优化

信息技术和人工智能的最新进展推动了全球数据中心（DC）行业的快速扩张，伴随着对电力的巨大需求来为数据中心供电。在典型数据中心中，大约有 30~40% 的能耗用于冷却系统，而非用于计算机服务器，这迫切需要开发新的节能优化技术用于数据中心冷却系统。然而，优化如此现实的工业系统面临诸多挑战，包括但不限于可靠仿真环境的缺乏、历史数据的有限以及严格的安全和控制鲁棒性要求。在本工作中，我们提出了一种新型的物理信息离线强化学习（RL）框架，用于数据中心冷却系统的能源效率优化。该框架使用旨在符合基本时间反演对称性的图神经网络架构来建模服务器房间内的复杂动态模式和物理依赖关系。由于其良好且可泛化的状态-动作表示，该模型能够在有限的真实操作数据下实现样本高效和稳健的潜在空间离线策略学习。我们的框架已成功部署并在大型规模生产数据中心中进行验证，用于其空气冷却单元（ACU）的闭环控制。我们在生产数据中心环境下进行了总计 2000 小时的短期和长期实验。结果表明，我们的方法在数据中心冷却系统中实现了 14~21% 的能源节省，且未违反任何安全或操作约束。我们的结果已证明离线 RL 在解决广泛的数据有限、安全关键的现实工业控制问题方面的巨大潜力。