基于近端策略优化的强化学习用于能源与频率调节市场联合投标
系统与控制
2022-12-14 v1 人工智能
机器学习
系统与控制
摘要
在全球脱碳进程的推动下，可再生能源快速接入传统电网，为参与能源市场的电池储能系统（BESS）带来了新的挑战与机遇。由于可再生能源发电与电力需求之间的不匹配导致现货市场价格波动加剧，能源套利可成为 BESS 的重要收入来源。此外，为稳定电网而建立的频率控制辅助服务（FCAS）市场因其毫秒级响应能力，可为 BESS 提供更高收益。因此，BESS 在不确定市场条件下谨慎决定分配给各市场的容量以最大化总利润至关重要。本文将该 BESS 的投标问题建模为马尔可夫决策过程，使 BESS 能够同时参与现货市场与 FCAS 市场以实现利润最大化。随后，采用无模型深度强化学习算法近端策略优化（Proximal Policy Optimization），在连续投标规模下从能源市场的动态环境中学习最优投标策略。所提模型使用澳大利亚国家电力市场的真实历史数据进行训练与验证。结果表明，相较于单独市场，我们所开发的双市场联合投标策略具有显著盈利性。
引用
@article{arxiv.2212.06551,
title = {Proximal Policy Optimization Based Reinforcement Learning for Joint Bidding in Energy and Frequency Regulation Markets},
author = {Muhammad Anwar and Changlong Wang and Frits de Nijs and Hao Wang},
journal= {arXiv preprint arXiv:2212.06551},
year = {2022}
}