基于学习的市场力主体储能最优市场投标策略
系统与控制
2021-06-07 v1 机器学习
系统与控制
摘要
拥有储能单元的负荷服务实体在规模与性能上已能对电力市场出清价格产生显著影响。然而，储能投标策略中很少考虑价格内生性，且电力市场建模是一项具有挑战性的任务。与此同时，无模型强化学习（如 Actor-Critic）在设计能源系统控制器方面正日益流行。但其实现常需漫长、数据密集且不安全的试错训练。为弥补这些不足，我们实现了一种在线监督式 Actor-Critic（SAC）算法，由基于模型的控制器——模型预测控制（MPC）进行监督。储能智能体通过该算法训练，以在最优投标的同时学习并适应其对市场出清价格的影响。我们将监督式 Actor-Critic 算法与作为监督器的 MPC 算法进行比较，发现前者通过学习获得了更高利润。因此，我们的贡献是一种在线且安全的 SAC 算法，其性能优于当前基于模型的最先进方法。
引用
@article{arxiv.2106.02396,
title = {A Learning-based Optimal Market Bidding Strategy for Price-Maker Energy Storage},
author = {Mathilde D. Badoual and Scott J. Moura},
journal= {arXiv preprint arXiv:2106.02396},
year = {2021}
}
备注
Presented at the 2021 American Control Conference (ACC), New Orleans, USA, May 25-28, 2021