模型预测控制与强化学习在多能源系统案例研究中的应用
系统与控制
2021-09-10 v2 人工智能
机器学习
系统与控制
最优化与控制
摘要
模型预测控制（MPC）提供了一种最优控制技术，用以建立并确保多能源系统的总运行成本保持在最小，同时满足所有系统约束。然而，该方法假定底层系统动力学具有充分模型，这易于产生建模误差且不一定具有适应性。这带来了相关的初始及持续的项目特定工程成本。在本文中，我们提出一种同策略和异策略多目标强化学习（RL）方法，该方法不先验假定模型，并将其与线性 MPC（LMPC——以反映当前实践，尽管非线性 MPC 表现更好）进行基准比较——二者均源自一般最优控制问题，突出其异同。在一个简单的多能源系统（MES）配置案例研究中，我们表明双延迟深度确定性策略梯度（TD3）RL agent 有潜力匹配并超越完美预见 LMPC 基准（101.5%）。而现实 LMPC（即不完美预测）仅达到 98%。而在更复杂的 MES 系统配置中，RL agent 的性能通常较低（94.6%），但仍优于现实 LMPC（88.9%）。在两个案例研究中，RL agent 在使用与环境按季度交互训练 2 年后均超越了现实 LMPC。我们得出结论：给定充分的约束处理和预训练，强化学习是多能源系统可行的最优控制技术，以避免不安全交互和长训练周期，正如基础未来工作所提议的那样。
引用
@article{arxiv.2104.09785,
title = {Model-predictive control and reinforcement learning in multi-energy system case studies},
author = {Glenn Ceusters and Román Cantú Rodríguez and Alberte Bouso García and Rüdiger Franke and Geert Deconinck and Lieve Helsen and Ann Nowé and Maarten Messagie and Luis Ramirez Camargo},
journal= {arXiv preprint arXiv:2104.09785},
year = {2021}
}
备注
43 pages, 29 figures