PowerGridworld：一种面向电力系统多智能体强化学习的框架
机器学习
2021-11-12 v1 人工智能
多智能体系统
系统与控制
系统与控制
摘要
我们提出PowerGridworld软件包，为用户提供一个轻量、模块化且可定制的框架，用于创建以电力系统为中心、多智能体的Gym环境，并能与现有的强化学习（RL）训练框架无缝集成。尽管存在许多用于训练多智能体RL（MARL）策略的框架，但几乎没有能快速原型化并开发环境本身的框架，尤其是在异构（复合、多设备）电力系统中，其电网级变量和成本的定义需要潮流解。PowerGridworld是一个开源软件包，有助于填补这一空白。为突出PowerGridworld的关键特性，我们给出两个案例研究，并演示使用OpenAI的多智能体深度确定性策略梯度（MADDPG）和RLLib的近端策略优化（PPO）算法学习MARL策略。在两种情况下，至少部分智能体在每个时间步将潮流解的元素作为其奖励（负成本）结构的一部分。
引用
@article{arxiv.2111.05969,
title = {PowerGridworld: A Framework for Multi-Agent Reinforcement Learning in Power Systems},
author = {David Biagioni and Xiangyu Zhang and Dylan Wald and Deepthi Vaidhynathan and Rohit Chintala and Jennifer King and Ahmed S. Zamzam},
journal= {arXiv preprint arXiv:2111.05969},
year = {2021}
}