基于混合强化学习与模型预测控制的氢气-柴油双燃料燃烧自适应控制
机器学习
2025-05-07 v2
摘要
强化学习（RL）和机器学习集成模型预测控制（ML-MPC）是优化氢气-柴油双燃料发动机控制的有前景的方法，二者能够有效地控制多输入多输出系统和非线性过程。ML-MPC 优势在于提供安全且最优的控制，确保发动机在预定义的安全限制内运行。相比之下，RL 以其基于学习的方法在面对变化条件时具有适应性。然而，单独使用其中任何方法都存在实际实施挑战。RL 在早期学习阶段需要控制输入的高方差，这可能会对系统造成风险，通过执行不安全的动作可能导致机械损坏。相反，ML-MPC 依赖于准确的系统模型来生成最优控制输入，在面对如油嘴老化等在发动机应用中自然发生的系统漂移时适应性有限。为解决这些限制，本研究提出一种混合 RL 和 ML-MPC 方法，利用 ML-MPC 框架，同时纳入 RL 智能体以动态调整 ML-MPC 负载跟踪参考，以响应环境中的变化。同时，ML-MPC 确保在 RL 智能体探索期间动作保持安全。为评估该方法的有效性，我们刻意改变燃料压力，以在 ML-MPC 与发动机测试台之间引入模型-工厂不匹配。这种不匹配导致在运行 ML-MPC 时，指示有效压力均方根误差（RMSE）为 0.57 bar。实验结果表明，RL 成功地通过改变跟踪参考来适应变化的边界条件，而 ML-MPC 确保安全的控制输入。通过实施 RL 实现的负载跟踪的定量改进为 RSME 降低至 0.44 bar。
引用
@article{arxiv.2504.16875,
title = {Hybrid Reinforcement Learning and Model Predictive Control for Adaptive Control of Hydrogen-Diesel Dual-Fuel Combustion},
author = {Julian Bedei and Murray McBain and Alexander Winkler and Charles Robert Koch and Jakob Andert and David Gordon},
journal= {arXiv preprint arXiv:2504.16875},
year = {2025}
}