基于强化学习的高维投标框架：用于电力市场
机器学习
2024-10-16 v1 系统与控制
系统与控制
摘要
过去十年，电力市场的投标已引起广泛关注。强化学习（RL）被广泛用于电力市场投标作为强大的人工智能工具，在面对现实不确定性时做出决策。然而，当前的 RL 方法大多使用低维投标，与当前电力市场常用的 N 个 price-power 对形式存在显著差异。这种 N 对投标格式称为高维投标（HDBs），尚未被充分集成到现有的 RL 投标方法中。当前 RL 投标方法的灵活性不足可能会大大限制投标利润，并使其难以应对由可再生能源发电带来的日益增长的不确定性。本文旨在提出一个充分利用 HDBs 的 RL 投标框架。首先，我们采用一种特殊类型的神经网络称为神经网络供给函数（NNSFs），以 N 个 price-power 对的形式生成 HDBs。其次，我们将 NNSF 嵌入马尔可夫决策过程（MDP），使其与大多数现有 RL 方法兼容。最后，在 PJM 实时（RT）电力市场的储能系统（ESSs）上的实验表明，采用 HDBs 的所提出的投标方法显著提高了投标灵活性，从而改善了基于最先进 RL 投标方法的盈利能力。
引用
@article{arxiv.2410.11180,
title = {Reinforcement Learning Based Bidding Framework with High-dimensional Bids in Power Markets},
author = {Jinyu Liu and Hongye Guo and Yun Li and Qinghu Tang and Fuquan Huang and Tunan Chen and Haiwang Zhong and Qixin Chen},
journal= {arXiv preprint arXiv:2410.11180},
year = {2024}
}