基于层次化多智能体强化学习的本地市场套利策略
系统与控制
2025-07-23 v1 系统与控制
摘要
当地市场(包括本地电力市场(LEM)和本地灵活性市场(LFM))中所采用的战略出价策略引起了广泛关注，因为这些策略通过优化能源管理和出价可提高市场参与者的经济效益。虽然已有研究在单一市场中使用多智能体强化学习(MARL)算法探索战略出价，但跨当地市场的套利机会尚未得到探索。本文引入了一种层次化MARL(HMARL)算法，旨在通过聚合器在多个当地市场之间实现套利。本文将这些聚合器在当地市场的战略行为建模为两个阶段的马尔可夫游戏：第一个阶段涉及LEM，第二个阶段涵盖LFM和平衡市场。为了解决这个两个阶段的马尔可夫游戏，HMARL框架为每个聚合器分配两个子智能体，一个主要子智能体和一个次要子智能体。在不采用套利策略时，这些子智能体彼此独立运作，主要子智能体专注于第一阶段利润，次要子智能体专注于第二阶段利润，各自采用独立的MARL。在采用本文提出的HMARL实现套利策略时，子智能体相互沟通和协调，以在多个当地市场之间进行套利，从而提高整体效率。案例研究在所有聚合器均采用套利策略的情境下进行，结果显示，尽管LEM的初始成本较高，但该策略在LFM和平衡市场中可实现 substantial 节省，平均总利润提高了40.6%。这突显了所提出HMARL有能力解决两个阶段的马尔可夫游戏并促进当地市场之间的套利，从而提高参与者的盈利能力。
引用
@article{arxiv.2507.16479,
title = {Arbitrage Tactics in the Local Markets via Hierarchical Multi-agent Reinforcement Learning},
author = {Haoyang Zhang and Mina Montazeri and Philipp Heer and Koen Kok and Nikolaos G. Paterakis},
journal= {arXiv preprint arXiv:2507.16479},
year = {2025}
}