基于安全深度强化学习的区域供冷系统调控以提供运行备用
系统与控制
2021-12-22 v1 系统与控制
摘要
采暖、通风与空调（HVAC）系统已被充分证明能够为电力系统提供运行备用。作为一类大容量且高能效的 HVAC 系统（可达 100 MW），区域供冷系统（DCS）在现代城市中正兴起，并具备作为柔性负荷被调控的巨大潜力。然而，策略性地控制 DCS 以提供灵活性颇具挑战，因为一个 DCS 服务于多个具有复杂热动态与不确定冷负荷的建筑。不当控制可能导致显著热不适，甚至恶化电力系统运行安全。为应对上述问题，我们提出了一种基于深度强化学习（DRL）的无模型控制策略，无需精确系统模型与不确定性分布。为避免训练过程中可能违反系统运行安全的破坏性“试错”动作，我们进一步提出将安全层与 DRL 结合以保证关键约束的满足，形成 safe-DRL 方案。此外，在提供运行备用后，DCS 增加功率并试图将所有建筑温度恢复至设定值，这可能引起瞬时峰值功率反弹并对电力系统造成二次影响。因此，我们在所提 safe-DRL 方案中设计了自适应奖励函数以有效约束峰值功率。基于实际 DCS 的数值研究证明了所提方法的有效性。
引用
@article{arxiv.2112.10949,
title = {District Cooling System Control for Providing Operating Reserve based on Safe Deep Reinforcement Learning},
author = {Peipei Yu and Hongxun Hui and Hongcai Zhang and Ge Chen and Yonghua Song},
journal= {arXiv preprint arXiv:2112.10949},
year = {2021}
}