用于主动电压控制的安全约束多智能体强化学习
机器学习
2024-09-04 v2
摘要
主动电压控制利用电网中的分布式可控发电机（如屋顶光伏），为缓解功率拥塞和提升电压质量提供了一条有前景的途径。尽管多智能体强化学习（MARL）已成为应对这一挑战的极具吸引力的方法，但现有的 MARL 方法往往忽视了该问题的约束优化本质，无法保证安全约束。在本文中，我们将主动电压控制问题形式化为一个约束马尔可夫博弈，并提出了一种安全约束的 MARL 算法。我们将原始-对偶优化强化学习方法扩展到多智能体设置，并用一种新颖的双重安全估计方法对其进行增强，以学习策略并更新拉格朗日乘子。此外，我们提出了不同的代价函数，并研究了它们对我们约束 MARL 方法行为的影响。我们在具有真实世界规模场景的配电网仿真环境中评估了我们的方法。实验结果证明了所提方法相较于 SOTA MARL 方法的有效性。本文已发表于 \url{https://www.ijcai.org/Proceedings/2024/}。
引用
@article{arxiv.2405.08443,
title = {Safety Constrained Multi-Agent Reinforcement Learning for Active Voltage Control},
author = {Yang Qu and Jinming Ma and Feng Wu},
journal= {arXiv preprint arXiv:2405.08443},
year = {2024}
}
备注
Accepted by IJCAI2024