开发软演员评论家深度强化学习方法以利用大型办公建筑的能源灵活性
机器学习
2021-07-08 v1 系统与控制
系统与控制
摘要
本研究关注基于‘软演员评论家’(SAC)的深度强化学习(DRL)的新颖应用与探究，以控制大型商业建筑的制冷设定点(从而控制制冷负荷)，进而利用能源灵活性。该研究的动机在于，常规基于模型的控制方法在面向更广泛建筑存量规模化开发与应用中面临挑战。SAC是一种无模型DRL技术，能够处理连续动作空间，且在建筑能源系统自动化与智能控制背景下的真实生活或高保真仿真实现中应用有限。此类控制技术被视为支撑智能、可持续和未来电网运行的一种可能方案。本研究通过在基于EnergyPlus的办公建筑环境中训练并部署智能体，检验SAC DRL技术的适用性。研究发现，SAC DRL学到了一种最优控制策略，与默认基于规则的控制(RBC)方案相比，能将能源成本降低9.7%，并在一周测试期内改善或维持热舒适限度。该算法对不同的超参数表现出鲁棒性，且这一最优控制策略是通过使用由易获取变量组成的最小状态空间学习得到的。算法的鲁棒性通过考察学习速度及部署至不同季节与气候的能力进行了测试。结果发现，SAC DRL所需训练样本点极少，在运行三个月后即优于RBC，且期间未对热舒适造成干扰。该智能体可迁移至其他气候与季节，尽管建议进行进一步再训练或超参数调优。
引用
@article{arxiv.2104.12125,
title = {Development of a Soft Actor Critic Deep Reinforcement Learning Approach for Harnessing Energy Flexibility in a Large Office Building},
author = {Anjukan Kathirgamanathan and Eleni Mangina and Donal P. Finn},
journal= {arXiv preprint arXiv:2104.12125},
year = {2021}
}
备注
submitted to Energy and AI