基于强化学习的循环退化成本下最优电池控制
最优化与控制
2022-06-06 v3
摘要
电池储能系统通过降低资源不确定性和支撑频率调节，正为电网运行提供日益增长的效益。因此，在计入其退化成本的同时高效提供这些电网服务，获取电池的最优策略至关重要。为使用强大的强化学习 (RL) 算法求解最优电池控制 (OBC) 问题，本文旨在依据雨流算法建立一种基于循环的电池退化模型新表征。由于后者依赖于完整轨迹，已有工作不得不依赖线性化近似将其转化为基于马尔可夫决策过程 (MDP) 公式的瞬时项。我们提出一种新的 MDP 形式，引入附加状态变量以轻松跟踪过往切换点从而确定循环深度。所提退化模型允许采用基于深度 Q 网络 (DQN) 的强大 RL 算法高效搜索 OBC 策略。使用真实市场数据的数值测试已证明，与早期采用线性化近似的工作相比，所提基于循环的退化模型在改善电池运行的同时缓解其退化方面具有性能提升。
引用
@article{arxiv.2108.02374,
title = {Reinforcement Learning Based Optimal Battery Control Under Cycle-based Degradation Cost},
author = {Kyung-bin Kwon and Hao Zhu},
journal= {arXiv preprint arXiv:2108.02374},
year = {2022}
}