利用热启动方法减少混合动力汽车应用中基于强化学习的监督控制的学习时间
机器人学
2020-10-29 v1 机器学习
系统与控制
系统与控制
摘要
强化学习 (RL) 广泛应用于机器人领域，并因此逐渐被应用于混合动力汽车 (HEV) 的监督控制中。尽管 RL 在仿真中在最小化油耗方面表现出色，但庞大的学习迭代次数需要很长的学习时间，使其难以应用于现实世界的车辆中。此外，初始学习阶段的油耗远差于基线控制。本研究旨在利用热启动方法减少 HEV 应用中 Q-learning 的学习迭代次数，并改善初始学习阶段的油耗。与以往使用零或随机 Q 值初始化 Q-learning 的研究不同，本研究使用不同的监督控制（即等效消耗最小化策略控制和启发式控制）来初始化 Q-learning，并给出了详细分析。结果表明，所提出的热启动 Q-learning 所需的迭代次数比冷启动 Q-learning 少 68.8%。训练后的 Q-learning 在两种不同的驾驶循环中得到了验证，结果表明，与等效消耗最小化策略控制相比，MPG 提高了 10-16%。此外，分析了实时可行性，并提供了车辆实施的指导。本研究的结果可用于促进 RL 在车辆监督控制应用中的部署。
引用
@article{arxiv.2010.14575,
title = {Learning Time Reduction Using Warm Start Methods for a Reinforcement Learning Based Supervisory Control in Hybrid Electric Vehicle Applications},
author = {Bin Xu and Jun Hou and Junzhe Shi and Huayi Li and Dhruvang Rathod and Zhe Wang and Zoran Filipi},
journal= {arXiv preprint arXiv:2010.14575},
year = {2020}
}