复杂动力系统的多保真强化学习控制
机器学习
2025-04-09 v1 人工智能
摘要
在科学和工程应用中控制复杂动力系统的不稳定性具有挑战性。深度强化学习 (DRL) 在不同科学应用中展现出前景。由于控制任务的多查询特性，需要与底层物理环境进行多次交互。然而，从实验中收集稀少，或在复杂动力学情形下昂贵昂贵。或者使用代理建模可以缓解计算成本问题。然而，基于离线训练的快速准确学习模型对于混沌动力学的准确点态动态几乎不可能获得。为填补这一鸿沟，当前工作提出一种多保真强化学习 (MFRL) 框架，利用可微分混合模型进行控制任务，其中基于物理的混合模型由有限的高保真数据校正。我们还提出了一种基于频谱的强化学习奖励函数。该框架在两个物理复杂动力学上的效果得到演示。MFRL 控制结果的统计数据与从大量查询的高保真环境中计算的结果相匹配，并优于其他 SOTA 基线方法。
引用
@article{arxiv.2504.05588,
title = {Multi-fidelity Reinforcement Learning Control for Complex Dynamical Systems},
author = {Luning Sun and Xin-Yang Liu and Siyan Zhao and Aditya Grover and Jian-Xun Wang and Jayaraman J. Thiagarajan},
journal= {arXiv preprint arXiv:2504.05588},
year = {2025}
}