基于物理信息启发的深度强化学习双层规划用于微电网调度
系统与控制
2024-12-25 v1 系统与控制
摘要
为在微电网面对复杂多变的运行条件下协调运营者与用户的利益，本文提出一种考虑可控负荷热力灵活性和需求响应的微电网调度模型，基于物理信息启发的深度强化学习（DRL）双层规划方法。为克服基于Karush-Kuhn-Tucker（KKT）方法的非凸性局限，本文提出一种基于DRL理论的新型优化求解方法，通过在两个层次之间交替迭代来处理双层规划问题。具体而言，结合名为异步优势演员-评论家（A3C）的DRL算法和自动机器学习优先级经验回放（AutoML-PER）策略，以提高A3C算法的泛化性能，设计出一种改进的A3C算法（AutoML-PER-A3C），用于求解上层问题；而采用DOCPLEX优化器来求解下层问题。在此求解过程中，AutoML用于自动优化超参数，PER通过提取最有价值的样本来提高学习效率和质量。测试结果表明，所提出的方法能够在充分利用多种灵活资源的情况下，在微网（MG）中化解多方利益冲突。 Furthermore, in terms of economic viability and computational efficiency, the proposal vastly exceeds other advanced reinforcement learning methods.
引用
@article{arxiv.2410.11932,
title = {Physical Informed-Inspired Deep Reinforcement Learning Based Bi-Level Programming for Microgrid Scheduling},
author = {Yang Li and Jiankai Gao and Yuanzheng Li and Chen Chen and Sen Li and Mohammad Shahidehpour and Zhe Chen},
journal= {arXiv preprint arXiv:2410.11932},
year = {2024}
}
备注
Accepted by IEEE Transactions on Industry Applications (Paper Id: 2023-KDSEM-1058)