如何利用强化学习促进未来电力市场设计? 第二部分:方法与应用
计算机科学与博弈论
2023-05-15 v2 人工智能
机器学习
摘要
这篇分为两部分的论文发展了基于强化学习(RL)仿真的联合电力市场设计的范式理论与详细方法。在第二部分中,通过阐述设计电力现货市场(ESM)、辅助服务市场(ASM)中的预留容量产品(RC)以及金融市场(FM)中的虚拟投标(VB)产品的详细方法,进一步论证该理论。遵循第一部分提出的理论,首先指定联合市场中的市场设计选项。随后,建立马尔可夫博弈模型,其中展示了如何在模型表述中纳入市场设计选项与不确定风险。阐述了多智能体近端策略优化(MAPPO)算法,作为第一部分所发展广义市场仿真方法的实际实现。最后,案例研究展示了如何基于实施MAPPO算法生成的仿真结果,利用第一部分提出的若干市场运行绩效指标来选取最佳市场设计选项。还讨论了不同市场设计选项对市场参与者投标策略偏好的影响。
引用
@article{arxiv.2305.06921,
title = {How to Use Reinforcement Learning to Facilitate Future Electricity Market Design? Part 2: Method and Applications},
author = {Ziqing Zhu and Siqi Bu and Ka Wing Chan and Bin Zhou and Shiwei Xia},
journal= {arXiv preprint arXiv:2305.06921},
year = {2023}
}
备注
It is old version with mistakes