价格响应型热水器中无模型控制与模型预测控制的比较
系统与控制
2021-11-09 v1 人工智能
系统与控制
摘要
我们对两种无模型控制算法——进化策略（ES）和近端策略优化（PPO）——与滚动时域模型预测控制（MPC）在操作模拟的价格响应型热水器方面进行了细致比较。考虑了四种 MPC 变体：具有完美预测、 yielding 最优控制的一次性控制器；具有完美预测的有限时域控制器；基于均值预测的控制器；以及使用历史场景的两阶段随机规划控制器。在所有情况下，水温与电价的 MPC 模型都是精确的；仅水需求是不确定的。为比较，ES 与 PPO 均通过在相同场景（MPC 所用）下与模拟环境直接交互来学习基于神经网络的策略。随后所有方法在需求时间序列的另一周延续上评估。我们证明该问题的最优控制具有挑战性，MPC 需超过 8 小时前瞻才能以完美预测达到最小成本。尽管有此挑战，ES 与 PPO 均学到良好的通用策略，在平均成本上优于均值预测与两阶段随机 MPC 控制器，且在计算动作时快两个数量级以上。我们展示 ES 尤其可利用并行，使用 1150 个 CPU 核在 90 秒内学到策略。
引用
@article{arxiv.2111.04689,
title = {A Comparison of Model-Free and Model Predictive Control for Price Responsive Water Heaters},
author = {David J. Biagioni and Xiangyu Zhang and Peter Graf and Devon Sigler and Wesley Jones},
journal= {arXiv preprint arXiv:2111.04689},
year = {2021}
}
备注
All authors are with the Computational Science Center at the National Renewable Energy Laboratory. Corresponding author: David Biagioni ([email protected])