基于多智能体深度强化学习的多能工业园能源管理
系统与控制
2022-02-14 v2 系统与控制
摘要
由于工业能耗巨大，工业生产在可再生能源接入与电力供应方面给电网带来了沉重负担。由于多种能源的耦合以及可再生能源与需求的不确定性，集中式方法需要巨大的计算与协调开销。因此，本文提出一种通过分散执行与集中训练实现的多能工业园能源管理框架。该能源管理问题被建模为部分可观测马尔可夫决策过程，由于缺乏底层随机过程的先验知识，动态规划难以求解。目标是在保证用户需求的同时最小化长期能源成本。为解决此问题并提升计算速度，提出一种新颖的多智能体深度强化学习算法，其包含以下要点：用于促使有贡献智能体学习更优策略的反事实基线，以及用于提升鲁棒性与探索最优解的软 actor-critic。通过拉格朗日乘子法设计了一种新颖奖励以 ensured 储能的容量约束。此外，考虑到智能体数量增加因观测空间过大导致性能下降，引入注意力机制以增强策略稳定性并使智能体聚焦于重要能源相关信息，从而提升软 actor-critic 的探索效率。基于实际数据的数值结果验证了所提算法的高可扩展性，表明工业园在不同需求下均能最小化能源成本。
引用
@article{arxiv.2202.03771,
title = {Energy Management Based on Multi-Agent Deep Reinforcement Learning for A Multi-Energy Industrial Park},
author = {Dafeng Zhu and Bo Yang and Yuxiang Liu and Zhaojian Wang and Kai Ma and Xinping Guan},
journal= {arXiv preprint arXiv:2202.03771},
year = {2022}
}
备注
Accepted by Applied Energy