基于多智能体深度强化学习的多模式插电式混合动力汽车能量管理
机器人学
2023-08-29 v2 机器学习
系统与控制
系统与控制
摘要
近年来出现的多模式插电式混合动力汽车（PHEV）技术是为脱碳做出贡献的途径之一，其能量管理需要多输入多输出（MIMO）控制。目前，现有方法通常将 MIMO 控制解耦为单输出（MISO）控制，只能达到局部最优性能。为对多模式车辆进行全局优化，本文研究了一种基于多智能体深度强化学习（MADRL）的 PHEV 能量管理 MIMO 控制方法。通过引入关联比，提出一种握手策略，使两个学习智能体在 MADRL 框架下使用深度确定性策略梯度（DDPG）算法协同工作。通过对影响学习性能的因素进行敏感性分析，获得了 DDPG 智能体的统一设置。通过对关联比的参数研究，得到了握手策略的最优工作模式。在软件在环测试平台上验证了所提能量管理方法的优势。研究结果表明，DDPG 智能体的学习率是影响学习性能的最大因素。使用统一的 DDPG 设置和 0.2 的关联比，所提 MADRL 系统相比单智能体学习系统最多可节省 4% 能量，相比传统基于规则的系统最多可节省 23.54% 能量。
引用
@article{arxiv.2303.09658,
title = {Energy Management of Multi-mode Plug-in Hybrid Electric Vehicle using Multi-agent Deep Reinforcement Learning},
author = {Min Hua and Cetengfei Zhang and Fanggang Zhang and Zhi Li and Xiaoli Yu and Hongming Xu and Quan Zhou},
journal= {arXiv preprint arXiv:2303.09658},
year = {2023}
}