面向去中心化基于逆变器的电压-无功控制的在线多智能体强化学习

分布式电压/无功控制（VVC）方法已针对有源配电网（ADNs）被广泛研究，其基于完备模型与实时点对点（P2P）通信。然而，模型常不完整且存在显著参数误差，且此类P2P通信系统难以维护。本文提出一种用于VVC的在线多智能体强化学习与去中心化控制框架（OLDC）。在该框架中，VVC问题被建模为约束马尔可夫博弈，我们提出一种新颖的多智能体约束软 actor-critic（MACSAC）强化学习算法。MACSAC用于在线训练控制智能体，从而不再需要精确的ADN模型。随后，训练后的智能体可利用本地量测实现去中心化最优控制，无需实时P2P通信。结合MACSAC的OLDC展现出对多种计算与通信条件的非凡灵活性、效率与鲁棒性。在IEEE测试案例上的数值仿真不仅表明所提MACSAC优于前沿学习算法，也佐证了我们的OLDC框架在在线应用中的优越性。