用于异构储能系统优化的可解释深度强化学习
机器学习
2023-10-24 v1 人工智能
摘要
储能系统(ESS)是能源市场中的关键组成部分，既作为能源供应方也作为消费方。ESS 运营商可通过优化储能设备运行从能源套利(energy arbitrage)中获益。为进一步提升 ESS 在能源市场中的灵活性并改善可再生能源利用，本文提出一种异构光伏-储能系统(photovoltaic-ESS, PV-ESS)，其利用了电池储能(BES)与氢储能(HES)的独有特性。对于异构 PV-ESS 的调度任务，成本描述在引导运营商策略以最大化收益方面起着关键作用。我们构建了一个综合考虑退化、资本与运维成本以反映真实场景的综合成本函数。此外，尽管众多方法在优化 ESS 能源套利方面表现出色，它们常依赖决策过程不透明的黑盒模型，限制了实际适用性。为克服该限制并实现透明调度策略，我们引入了一种具备内在可解释性的基于原型的策略网络(prototype-based policy network)。该网络利用人为设计的原型，通过比较原型情境与 encountered 情境的相似性来引导决策，从而自然地解释调度策略。在四种不同案例下的对比结果凸显了我们所提事前(pre-hoc)可解释优化方法相对于黑盒模型的有效性与实用性。
引用
@article{arxiv.2310.14783,
title = {Interpretable Deep Reinforcement Learning for Optimizing Heterogeneous Energy Storage Systems},
author = {Luolin Xiong and Yang Tang and Chensheng Liu and Shuai Mao and Ke Meng and Zhaoyang Dong and Feng Qian},
journal= {arXiv preprint arXiv:2310.14783},
year = {2023}
}