面向电力网络拓扑控制的层次化强化学习
机器学习
2023-11-07 v1 人工智能
系统与控制
系统与控制
摘要
高维动作空间中的学习是将强化学习（RL）应用于现实系统的关键挑战。本文中，我们研究使用RL方法控制电力网络的可能性。电力网络是复杂且关键的基础设施。特别是，动作空间的组合性质对常规优化器与学习型控制器均构成挑战。层次化强化学习（HRL）是应对该挑战的一种途径。更确切地说，我们提出了一种用于电力网络拓扑控制的HRL框架。该HRL框架由三层动作抽象构成。最高层是电力网络运行的长期总体任务，即始终保持电网状态处于安全约束内，其被分解为两个时序扩展动作：'不操作'与'提议拓扑变更'。中间层的动作空间由所有可控变电站组成。最底层动作空间则由所选变电站的所有配置组成。通过采用该HRL框架，我们针对IEEE 14总线网络训练了若干层次化电力网络智能体。尽管本研究中所有智能体在最高层仍选用纯基于规则的策略，中间层策略使用不同最先进RL算法训练。最底层则使用RL算法或贪心算法。我们将不同三层智能体的性能与标准基线（RL或贪心）方法比较。一关键发现是，在中间层与最底层均使用RL的三层智能体在最困难任务上优于所有其他智能体。我们的代码已公开可用。
引用
@article{arxiv.2311.02129,
title = {Hierarchical Reinforcement Learning for Power Network Topology Control},
author = {Blazej Manczak and Jan Viebahn and Herke van Hoof},
journal= {arXiv preprint arXiv:2311.02129},
year = {2023}
}