基于双策略强化学习代理的极端电网事件鲁棒防御

强化学习（RL）代理是管理电网的强大工具。它们利用大量数据来信息化行动，并通过奖励或惩罚作为反馈来学习系统的有利响应。训练后，这些代理能够高效地做出决定，这些决定对于人类操作员来说计算复杂度过高。这一能力在电网脱碳化方面尤为重要，由于对 RL 代理需求的增加。由于可再生能源、微网集成以及网络安全威胁的不确定性，动作空间不断扩大，这些代理特别适合控制电网动作。为了评估 RL 代理应对不利电网事件的效果，我们使用 Grid2Op 平台进行代理训练。我们采用图神经网络（GNN）结合近端策略优化（PPO）算法。通过模拟代理对电网事件的响应，我们评估其在尽可能长时间内避免电网故障方面的性能。代理的性能通过其奖励函数简洁地表达，这有助于代理学习在特定事件下重新配置电网拓扑结构的最佳方式。为了建模威胁现代电网的多主体场景，尤其是源于网络攻击的结果，我们集成一个对给定代理发挥迭代性地反对acting的对手。这种 RL 代理与对手之间的相互作用用于 N-k 故障 screening，提供了传统安全评估的新颖替代方案。